IT / 文献库

PAPER 054 / CLOSE READING

Encoding of partially occluded and occluding objects in primate inferior temporal cortex

语义审核:minor_revision · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 行为任务与刺激示例:序列形状辨别加可调遮挡
    2. 图 2 · 四个示例神经元:抑制型与增强型各有其相
    3. 图 3 · 群体分布:遮挡影响与形状选择性的负耦合
    4. 图 4 · 两种编码模型的示意图:分割与非分割
    5. 图 5 · 模型实例化:有规律的与乱序的调谐曲线族
    6. 图 6 · 形状对相近的模拟:判据浮出水面
    7. 图 7 · 形状对悬远的模拟:判据依然有效
    8. 图 8 · IT 群体数据入座:与分割模型吻合
    9. 图 9 · 颜色对照:遮挡偏好不是颜色偏好换的马甲
    10. 图 10 · 遮挡物形状与时间异步对照:反应跟着面积走
    11. 图 11 · V4–IT–vlPFC 回路假说:三个区域如何接力识别被遮挡物体
  6. 讨论
  7. 一句话总结

这项电生理研究探讨了灵长类前下颞叶皮层(inferior temporal cortex,IT)在部分遮挡条件下如何编码物体表征。作者在猕猴执行序列形状辨别任务的同时记录 IT 单单位电生理活动,并结合计算模型模拟检验两种假设:IT 皮层是对重叠的复合图像产生非线性混合表征(非分割模型),抑或已经将“被遮挡目标”与“前景遮挡物”解析为可分离的表征(分割模型)。实验证据与模拟结果高度契合,支持 IT 皮层表征已经完成了物体分割并支持线性读出。

研究背景

部分遮挡是自然视觉环境中常见的物理现象,它一方面遮蔽了目标物体的局部诊断性特征,另一方面引入了前景遮挡物产生的额外轮廓与表面信息。视觉系统不仅需要基于残存特征推断目标身份,还需要在表征层面区分哪些几何边界属于目标本身、哪些属于前景干扰物。下颞叶皮层作为腹侧形状加工通路的高级皮层中枢,具备处理复杂二维与三维客体特征的选择性调谐,是探讨遮挡条件下客体表征的核心脑区。然而,既往关于下颞叶神经编码的研究多采用孤立呈现的单一刺激;即使涉及多物体呈现,客体之间也通常保持空间分离。在视网膜投影高度重叠的遮挡情境下,神经群体如何协同编码被遮挡客体与遮挡物本身,仍缺乏定量电生理刻画。

早期遮挡实验显示,多数 IT 神经元的放电幅度随遮挡程度加重而下降,部分神经元表现出响应增强,且神经元偏好形状的相对排序在遮挡下大致保持。后续在 V4 与腹外侧前额叶(vlPFC)的研究揭示了任务驱动的动态调节;但在下颞叶皮层内,单纯的放电增减不足以判定底层编码机制。放电减弱可能源于目标特征缺失,放电增强可能源于对遮挡物特征的响应,二者均可能并存于分割或非分割网络中。关键科学问题在于:组合刺激诱发的神经响应能否由目标与遮挡物的独立贡献按规律解释,抑或每种遮挡状态均诱发了难以解耦的全新调谐特性。

本研究在猕猴执行参数化遮挡形状辨别任务时记录前部 IT 单细胞活动,构建了分割模型与非分割模型并导出具有判别力的群体统计指标。通过分析遮挡前后的形状选择性相关性,评估真实神经群体的编码规则;结合孤立呈现遮挡物、反转对比度颜色以及改变遮挡点几何形态的对照实验,检验遮挡增强型响应的驱动因素。需要指出的是,该结论受限于具体非分割模型的数学假定形式,且实验采用的随机点遮挡模式无法完全涵盖自然场景中全部复杂的遮挡类型。

研究思路

研究采用“单单位记录结合计算模型模拟”的方法。实验范式采用序列形状辨别任务:被试在不同遮挡程度下辨别两相继呈现的几何形状是否一致,遮挡水平通过系统调节覆盖在目标上的随机圆点直径来定量控制。在 IT 皮层记录单神经元放电,量化遮挡对总体放电幅度的影响(AUCoccl)以及神经元的形状选择性(AUCshape)。

在模型模拟部分,作者分别为“分割模型(segmented model)”与“非分割模型(unsegmented model)”构建了形状调谐函数族:在分割模型中,复合刺激诱发的响应表现为被遮挡形状响应(按遮挡水平线性缩放)与遮挡物响应(赋予加权系数 W)的加权组合,调谐曲线随遮挡加深呈现规律性演变;在非分割模型中,各遮挡水平下的调谐曲线峰值位置与振幅随机设定,彼此无连续函数关系。模拟分析导出一项关键的群体统计判据:在遮挡与无遮挡条件下,神经元形状选择性指数之间的相关性在分割模型中预测为正相关,在非分割模型中预测为负相关。将实测 IT 神经元数据映射至该判据系统,以此裁决下颞叶皮层的表征组织模式。

方法

实验动物为两只成年雄性恒河猴(Monkey M,8.2 kg;Monkey O,13.9 kg),通过立体定位与结构 MRI 定位颞上沟前段后岸及前中颞沟(AMTS)邻近的前部 IT 皮层,采用单钨丝电极或多通道探针记录。共记录 186 个单单位,依据严格标准筛选出 121 个神经元纳入核心分析(M 猴 28 个、O 猴 93 个):入选标准包括无遮挡刺激行为正确率 >75%、测试时段放电显著高于基线、且各条件重复测量至少 7 次(中位数 10 次)。

单试次时间流程:动物注视中央白点 200 ms,屏幕中央呈现参考形状 600 ms,间隔 200 ms 空屏,随后在偏心位置(2°–9.5°)呈现测试形状 600 ms(完整或部分遮挡),测试图形消退 50 ms 后水平出现左右两个目标点,动物在 500 ms 内向右扫视报告“相同”、向左扫视报告“不同”,正确获得果汁奖励。测试形状取自 Pasupathy 与 Connor(2001)的二维轮廓库(11 个会话针对细胞偏好定制,110 个会话随机抽取)。遮挡刺激由 36 个空间随机排布的圆点构成,通过改变圆点直径调节可见面积百分比(包含 100% 无遮挡,以及 99%、96%、90%、82%、72% 等阶梯梯度)。

数据分析中,测试期响应窗口设定为刺激呈现后 50–300 ms(85 个神经元)或 50–150 ms(36 个神经元)。形状选择性 AUCshape 通过两测试形状放电计数分布的 ROC 曲线下面积计算;遮挡影响 AUCoccl 通过遮挡与无遮挡响应分布的 ROC 面积衡量(>0.5 表示遮挡增强)。在模拟中,无遮挡调谐曲线设为高斯分布(501 个形状,σs=100),并引入四个梯度的试次噪声;分割模型设定为 Rcombo = Rshape · κoccl + W · Roccluder(W 取值 0.004–0.02),非分割模型在各遮挡水平随机分配峰位与幅度;模拟测试了形状间距较近(<50)与较远(>100)两类情形,每类模型运行 300 次。

主要结果

  1. 行为辨别表现:在无遮挡条件下,猕猴的形状辨别正确率处于较高水平,随着遮挡面积增加(可见面积下降),行为正确率呈现单调下降(图 1D),证实遮挡操纵在知觉层面施加了稳定的识别负荷。
  2. IT 神经元放电调谐在遮挡下的两极分化(图 2、图 3):在 121 个神经元中,约 60%(73 个:M 猴 20/28,O 猴 53/93;AUCoccl>0.5)对部分遮挡刺激表现出放电增强,其余 48 个神经元对无遮挡刺激反应更强;两只猴的表征分布无显著差异(K-S 检验 p=0.354)。遮挡增强型神经元多数表现出较弱的二维形状选择性(中位数 AUCshape=0.55),而无遮挡偏好型神经元的形状选择性相对更强(中位数 0.58),两者呈现弱负相关(Spearman r=−0.21,p=0.024)。
  3. 遮挡增强效应主要取决于遮挡物理面积而非局部颜色或微观形状(图 9、图 10):在 28 个神经元中执行颜色反转对照,遮挡影响指数(AUCoccl)在原始颜色与反转颜色之间呈现高度正相关(r=0.70,p<0.001),仅 2 个神经元出现偏好反转;形状选择性与两形状的相对颜色面积无关(r=−0.06,p=0.671)。在 9 个遮挡偏好神经元中,遮挡点单独呈现诱发的放电与叠加在形状之上的放电幅度高度吻合,且圆形与椭圆形遮挡点诱发的响应无显著差异,表明该类神经元主要编码遮挡覆盖度(面积)。
  4. 模型模拟确立鉴别两类假说的群体判据(图 4–图 7):模拟表明,遮挡影响在偏好与非偏好形状间的一致性等指标在两类模型中均可表现出相近趋势,无法有效区分模型;然而,遮挡条件下的形状选择性与无遮挡条件下的形状选择性之间的相关性表现出明确判据:分割模型在不同噪声与形状间距条件下均稳定预测正相关,而非分割模型稳定预测负相关。
  5. IT 群体电生理数据符合分割模型预测(图 8):实测数据中,遮挡影响指数在偏好与非偏好形状间高度相关(r=0.82,p<0.001);在关键判据上,遮挡条件与无遮挡条件下的形状选择性表现出显著的正相关(r=0.27,p=0.003;高响应子集 n=55 时 r=0.42;ANOVA 指标版本 r=0.50/0.46),与非分割模型预测的负相关趋势相悖。分层分析表明,在 99%、96%、90% 与 82% 可见面积下均保持显著正相关,仅在 72% 重度遮挡下相关性减弱但未转为负值。
  6. 基线与适应效应控制:针对 66 个神经元基线校正放电较低的情况,分析证实其源于刺激形状的随机抽取而非记录时窗或视野偏心率偏差;参考刺激的重复适应检验显示匹配与非匹配试次的测试响应无显著差异(Mann–Whitney U 检验,p>0.80)。

图注解读

图 1 · 行为任务与刺激示例:序列形状辨别加可调遮挡

原文图注:Figure 1. Behavioral task and example stimuli. A, Sequence of events on a single trial of the shape discrimination task. After the animal acquires fixation, unoccluded stimuli were presented during the reference epoch, and either partially occluded or unoccluded stimuli were presented during the test epoch. The animal was required to report whether the sequentially presented shapes were the same or different with a rightward or leftward saccade, respectively. B, Example shape pairs used as discriminanda during our recording sessions. Shapes were chosen from a simple 2D shape set (Pasupathy and Conner, 2001). Shape pairs with the same identifying integer were used in the same session. C, Schematic illustration of partially occluded stimuli. The visible area, that is, the unoccluded area of the occluded shapes, was titrated by varying the diameter of randomly positioned dots. D, Animal behavioral performance as a function of occlusion. Example single sessions (dashed lines) and average across sessions (solid line) are shown. Error bars indicate SEM.

图 A 展示行为任务时间线(参考刺激 600 ms,间隔 200 ms,测试刺激 600 ms,延迟 50 ms,扫视报告 500 ms);图 B 为测试所用二维轮廓形状示例;图 C 图解通过改变随机圆点直径连续调节可见面积百分比(100% 至 72%);图 D 展示行为正确率随可见面积下降而单调降低的心理物理曲线,确立了任务难度随遮挡增加的有效性,对应主要结果第 1 条。

Figure 1

图 2 · 四个示例神经元:抑制型与增强型各有其相

原文图注:Figure 2. Responses of example IT neurons. A, Example neuron (Cell 1) that responds stronger to unoccluded stimuli and weaker to occluded stimuli. Responses to preferred and nonpreferred shapes (compare left and right) at different occlusion levels (colors) are shown by rasters (top) and PSTHs (bottom). PSTHs were smoothed with a Gaussian window (s = 10ms). Thin gray lines indicate SEM. Horizontal line along the x-axis denotes the time period for quantifying responses during the test epoch. Inset, discriminanda. ……

图 A、B 展示遮挡抑制型细胞的光栅图与 PSTH,放电随遮挡加重逐步衰减但保持形状选择性;图 C、D 展示遮挡增强型细胞,遮挡加重引发更强放电(其中 D 保留了弱形状选择性);图 E 绘制对应的 ROC 曲线,可视化了形状选择性随遮挡退化的过程以及遮挡偏好指数的偏向性分布,对应主要结果第 2 条。

Figure 2

图 3 · 群体分布:遮挡影响与形状选择性的负耦合

原文图注:Figure 3. Influence of occlusion and shape selectivity across IT neurons. A, Scatter plot and marginal histograms quantify the relationship between the influence of occlusion on individual IT responses (x-axis, AUCoccl), and shape selectivity (y-axis, AUCshape). The shape selectivity index (AUCshape) ranged from 0.5 (unselective) to 1.0 (selective). The influence of occlusion (AUCoccl) ranged from 0 to 1.0: AUCoccl > 0.5 signifies enhanced responses under occlusion. Bin widths for vertical and horizontal bar graphs are 0.05 and 0.025. ……

图 A 散点图横轴为遮挡影响指数 AUCoccl(>0.5 为增强型),纵轴为形状选择性指数 AUCshape,展示了群体中约 60% 的神经元偏好遮挡刺激,且遮挡增强型细胞普遍呈现较低的形状选择性(两者相关 r=−0.21,p=0.024);图 B、C 展示峰值放电率与选择性及遮挡指数的相关性,对应主要结果第 2 条。

Figure 3

图 4 · 两种编码模型的示意图:分割与非分割

原文图注:Figure 4. Schematic representation of the hypothetical models. A, Segmented model. Response tuning curve to unoccluded shapes (Rshape) is denoted by the black curve. When a shape is superimposed by an occluder, the combined response (Rcombo) may decrease (compare a and a') or increase (compare b and b'), but the relationship between Rshape and Rcombo can be described by a lawful linear equation (see above, Materials and Methods). B, Unsegmented model. Here too, responses may decrease (compare a and a') or increase (compare b and b') in the presence of occlusion, but no consistent lawful stimulus-agnostic relationship exists between Rshape and Rcombo.

理论模型机制图示:分割模型(A)假定复合刺激响应可由形状响应与遮挡物响应通过规律性线性方程描述,调谐曲线随遮挡表现出比例性收缩或抬升;非分割模型(B)假定遮挡重组了特征空间,调谐曲线在各遮挡水平间随机变化。两模型均允许单个神经元表现为放电增强或减弱,构成了建立高阶群体判据的理论框架,对应主要结果第 4 条。

Figure 4

图 5 · 模型实例化:有规律的与乱序的调谐曲线族

原文图注:Figure 5. Examples of segmented and unsegmented model instantiations. A, Segmented model. Responses to unoccluded shapes (black curve) was modeled as a Gaussian function. Responses to partially occluded shapes under five occlusion levels (Rcombo, colored lines) are shown here for one simulation based on the choice of a single random weight (W). B, Unsegmented model. Responses to the unoccluded shapes are modeled as in A. For each simulation run, peak position and amplitude were randomly chosen for each occlusion level. So tuning curves across occlusion levels bear no lawful relationship. C, For the segmented model, the ROC curves based on spike count distributions for preferred and nonpreferred shapes reveal declining shape selectivity with increasing occlusion. D, For the unsegmented model, the ROC curve flips above or below the diagonal across occlusion levels, and the preferred shape and strength of shape selectivity varies dramatically across occlusion levels. ……

图 A、B 分别展示分割模型与非分割模型在一次模拟中生成的调谐曲线族:分割模型的响应曲线随遮挡平滑递变;非分割模型的峰值位置与幅度在各遮挡水平剧烈波动。图 C、D 展示对应的 ROC 曲线动态:分割模型下形状选择性随遮挡单调减退,非分割模型下最优形状与选择性在各遮挡水平发生频繁翻转,对应主要结果第 4 条。

Figure 5

图 6 · 形状对相近的模拟:判据浮出水面

原文图注:Figure 6. Results for shape-near simulations. For each simulation run we constructed shape tuning curves consistent with the segmented and unsegmented models, chose a pair of shapes <50 shapes apart, and computed AUCoccl and AUCshape. A, B, Relationship between the influence of occlusion (AUCoccl) on preferred (x-axis) and nonpreferred stimuli (y-axis) for segmented (A) and unsegmented (B) models. Each symbol corresponds to data constructed from one simulated unit (n = 300). Results for four different noise levels (grayscale) and corresponding Spearman's r and p values are shown. ……

在模拟选取的形状间距较近(<50)条件下:A、B 行显示遮挡对偏好与非偏好形状的影响在两模型中均呈高度正相关;C、D 行显示两模型中选择性与遮挡影响均呈负相关;E、F 行展示核心判据——分割模型(E)中遮挡与无遮挡形状选择性呈正相关(r 在 0.51–0.66),而非分割模型(F)中呈显著负相关(r 在 −0.51 至 −0.61),对应主要结果第 4 条。

Figure 6

图 7 · 形状对悬远的模拟:判据依然有效

原文图注:Figure 7. Population results for shape-far simulations. Simulation was performed for pairs of shapes >100 shapes apart. All other details and format as in Figure 6. Results based on segmented (A, C, E) and unsegmented (B, D, F) models are shown. Unlike shape-near simulations, correlation between AUCoccl for preferred and nonpreferred stimuli was weak or absent for both models (compare Fig. 7A,B with Fig. 6A,B). Here again, shape selectivity between occluded and unoccluded stimuli was positively correlated only for the segmented model.

在模拟选取的形状间距较远(>100)条件下:两模型在遮挡影响跨形状一致性(A、B 行)上的相关均显著减弱;但 E、F 行的关键判据依然保持高度稳健——仅分割模型能够产生遮挡与无遮挡选择性之间的正相关,表明该判据独立于刺激测试样本的选择偏误,对应主要结果第 4 条。

Figure 7

图 8 · IT 群体数据入座:与分割模型吻合

原文图注:Figure 8. Population results for IT neurons. A, Relationship between the influence of occlusion (AUCoccl) on preferred (x-axis) and nonpreferred stimuli (y-axis). As with shape-near simulations of both models, a strong positive correlation was observed across the population. Filled symbols identify the more responsive subset of neurons defined as those with the baseline subtracted peak firing rate >10 spikes/s (Figure 3). Correlation values for all neurons (n = 121) and the more responsive subset (n = 55) are as shown. ……

实测 IT 神经元数据的散点分布图:A 显示遮挡对两形状影响呈高度正相关(r=0.82);C 显示形状选择性与遮挡影响呈负相关(r=−0.41);E 格展示遮挡与无遮挡形状选择性呈显著正相关(r=0.27,p=0.003;高响应子集 r=0.42;F 统计量版本 r=0.50)。实测数据与分割模型预测区间完全吻合,反驳了非分割模型,对应主要结果第 5 条。

Figure 8

图 9 · 颜色对照:遮挡偏好不是颜色偏好换的马甲

原文图注:Figure 9. Effect of color on IT responses. A, B, Responses of two example neurons that responded preferentially to (A) unoccluded stimuli and (B) occluded stimuli. Responses to preferred (left panels) and nonpreferred (right panels) are shown for original (blue lines) and color-reversed (orange lines) stimuli. Solid and dotted lines show the responses to unoccluded (percentage of visible area = 100%) and occluded stimuli (percentage of visible area = 72%). Inset, images show corresponding visual stimuli. C, Influence of occlusion on original (x-axis) versus color-reversed stimuli (y-axis; n = 28 from monkey O). Spearman's correlation coefficient (r) between AUCoccl for original and color-reversed was r = 0.70 (p < 0.001). Filled dots (in the second quadrant) indicate neurons that showed a significant switch in the influence of occlusion with color reversal. ……

图 A、B 展示两示例神经元在原始与反转颜色下的反应;图 C 散点图显示群体神经元在颜色反转前后的遮挡影响指数高度正相关(r=0.70,p<0.001),仅 2 个细胞发生偏好翻转;图 D 表明形状选择性与两形状的相对颜色面积无关(r=−0.06),排除了遮挡增强效应仅反映特定颜色偏好的解释,对应主要结果第 3 条。

Figure 9

图 10 · 遮挡物形状与时间异步对照:反应跟着面积走

原文图注:Figure 10. Influence of occluder shape on neuronal responses. A, Schematics of control stimuli. Ellipsoidal dots were presented at two different levels (percentage of visible areas, 72% and 90%) in addition to circular dots used in the main experiment. Major and orthogonal minor axes relate to the dot diameter as shown. The orientation of each ellipse was randomly chosen in steps of 45°. B, Schematic of temporal asynchrony (top) and example responses to circular and ellipsoidal occluding dots alone (compare black and gray in left PSTHs). Occluding dots were presented alone first followed by the occluded shape behind the occluders (right panel). ……

图 A、B 为椭圆与圆形遮挡点及时间异步呈现控制范式;图 C 显示遮挡点单独呈现诱发的放电与遮挡物复合呈现时的放电沿对角线聚集;图 D 显示圆点与椭圆点诱发的响应相近;图 E 表明跨形状遮挡的神经可区分度与同形状遮挡高度一致,证实遮挡相关响应主要由遮挡覆盖度(物理面积)驱动,对应主要结果第 3 条。

Figure 10

图 11 · V4–IT–vlPFC 回路假说:三个区域如何接力识别被遮挡物体

原文图注:Figure 11. A, B, Hypothetical model of V4-IT-vlPFC interactions. Information flow in V4-IT-vlPFC circuit (B) and the associated response patterns in the different areas (A) are shown. Feedforward signals confer shape selective signals to V4 and IT (black arrows), whereas the occlusion levels are conveyed to IT (gray arrows). As a result, some neurons in V4 and IT cortex respond stronger to unoccluded (black) and weaker to occluded (gray) stimuli. Some other neurons in IT cortex respond stronger to occluded stimuli (compare PSTHs in A). ……

图示总结了基于 V4、IT 与 vlPFC 电生理特征构建的皮层回路工作假说:V4 与 IT 共同提供形状选择性前馈信号,IT 同时表征遮挡覆盖度;两类信号在前额叶(vlPFC)实现非线性增益整合,并通过自上而下的反馈投射返回 V4 与 IT,增强遮挡条件下的客体表征稳定性。该框架为基于既往研究的理论模型,对应讨论章节。

Figure 11

讨论

研究表明灵长类 IT 皮层对被遮挡客体与前景遮挡物的神经表征呈现线性解耦特征:群体电生理统计特性符合分割模型,与非分割模型相悖,表明空间重叠物体的复合表征可近似遵循线性加权规则进行解码。在既往研究关系上,本实验观察到的约 60% 遮挡增强型神经元比例高于早期文献报道,作者分析其主要源于刺激呈现范式差异(如小点瞬态同步覆盖对比全屏静态网格),以及记录区域在局部功能模块上的取样特性;具有弱形状调谐的遮挡增强型神经元可能专门提取了场景在深度轴上的遮挡语境信号。

在皮质网络整合层面,作者提出了连接 V4、IT 与 vlPFC 的循环交互假说(图 11):IT 皮层分别输出形状选择信号与遮挡面积信号,前额叶皮层对两者进行整合调制并通过反馈连接增强腹侧通路在重度遮挡下的模式恢复能力。研究指出了相关局限:非分割模型的评估依赖于随机调谐的数学设定,若皮层在复合轮廓交界处形成了特定的偶发特征表征,模型假设需进一步修正;此外,早期视皮层的侧向易化与外周抑制等计算如何自下而上支撑 IT 的分割表征,仍有待因果干预实验深入检验。

一句话总结

研究通过猕猴单单位记录与模型模拟,证实灵长类下颞叶皮层在部分遮挡条件下已将目标形状与遮挡物面积解析为可分离的线性表征,为抗遮挡物体识别的神经机制提供了电生理证据。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。