IT / 文献库

PAPER 008 / CLOSE READING

A neurodynamical cortical model of visual attention and invariant object recognition

语义审核:pass · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 模型总体架构:两流五模块与前馈/反馈连接
    2. 图 2 · 层级收敛结构与竞争的逐级全局化
    3. 图 3 · 注意调制指数沿腹侧流逐级增大(复现 fMRI)
    4. 图 4 · 经验数据:自然场景中 IT 细胞反应随注视点远离而衰减
    5. 图 5 · 模拟复现:复杂背景使 IT 感受野缩小
    6. 图 6 · 物体注意偏置轻微缓解感受野缩小
    7. 图 7 · 干扰物越靠近中央凹,目标感受野越小
    8. 图 8 · 预测一:同侧干扰物产生随位置移动的局部抑制
    9. 图 9 · 预测二:目标周围的空白环会增大 IT 感受野
    10. 图 10 · 两种注意模式下的全模块动力学时序
  6. 讨论
  7. 一句话总结

一句话定位:这是一项计算神经科学建模研究:Deco 与 Rolls 将前馈特征层级(负责平移不变的物体识别)与多模块偏置竞争注意模型整合为一个统一的神经动力学(neurodynamical)大尺度皮层模型。模型利用同一套动力学机制同时解释了 fMRI 上注意调制从 V1 到 IT 逐级增强,以及单细胞记录中 IT 神经元在自然杂乱场景中有效感受野缩小两组现象,并提出了关于刺激竞争的可检验预测。

研究背景

自然视觉中,识别物体和选择注意对象同时发生,却提出了不同要求。识别需要在物体改变位置时保持其身份表征,注意则要在多个物体和背景特征之间突出当前目标。双通路框架把前者主要交给 V1、V2、V4 到 IT 的腹侧通路,把空间位置维护交给通向后顶叶的背侧通路;IT 神经元的大感受野和分布式编码有利于平移容忍,却也让同一细胞可能同时受到阵列中多个物体驱动。偏置竞争假说据此提出,各刺激的神经表征在皮层内相互竞争,来自额顶区域的反馈偏置使目标相关群体占优。单细胞记录中的非目标抑制,以及 fMRI 中同时呈现刺激的相互抑制和注意缓解,都为这一思路提供了依据。

然而,识别和注意的计算模型当时仍彼此分离。VisNet 等前馈层级网络利用时间连续的“痕迹学习”建立平移不变表征,能够处理识别,却缺少反馈连接和注意机制;多模块偏置竞争模型可以模拟注意对单细胞及脑成像活动的影响,却没有真正学会不变物体表征。显著性图模型则能依据局部特征寻找突出位置,但不解决物体身份。因此,只把两个现成结论并列,并不能说明同一个皮层系统怎样既从复杂背景中认出物体,又按空间或物体线索调整竞争。

本文尝试用一个含前馈、反馈和局部侧抑制的五模块动力学网络弥合这一缺口。层级收敛使感受野逐级增大,也使早期视区中空间上局部的竞争,在 IT 的大感受野和分布式表征中变成近似全局的物体竞争。这个几何性质提供了一条统一解释:它可能同时产生注意调制从 V1 到 IT 增强的梯度,以及自然背景下 IT 有效感受野缩小。研究以模拟复现已有数据并给出新预测,目的不是证明模型参数唯一正确,而是检验识别与注意能否从同一套神经动力学中涌现。

研究思路

模型的总体架构包含五个模块:腹侧通路包含 V1、V2、V4、IT,背侧通路包含 V1、V2 到 PP,两条通路通过共享的早期视区 V1 与 V2 交互。模块间采用收敛式前馈连接逐级扩大感受野,并配以对称的反馈投射(backprojection,反馈强度设定为前馈连接强度的固定比例);模块内通过高斯加权的局部侧抑制实现竞争。前馈连接在学习阶段通过痕迹规则(trace rule)训练出平移不变性;在识别阶段,全系统作为一组平均场(mean-field)微分方程演化,注意作为来自前额叶的自上而下偏置施加:物体注意偏置作用于 IT(对应前额叶 46v 区),空间注意偏置作用于 PP(对应前额叶 46d 区)。模型的核心设定是:注意并非独立的外部模块,而是整个网络在刺激驱动和注意偏置共同约束下演化至稳态时的整体动力学效应。

该设计基于层级收敛网络的基本几何性质:沿腹侧通路逐级收敛的连接使原本在局部实现的侧抑制逐渐转化为全局层面的竞争。在 V1 中,两个刺激若落在拓扑映射的不同空间位置,局部侧抑制互不影响;在 IT 中,由于感受野广泛且表征呈分布式重叠,层内侧抑制演化为物体表征之间的整体竞争。这一结构为 fMRI 中注意调制逐级递增的梯度以及自然场景下 IT 感受野的缩小提供了统一的动力学解释,并推导出了关于两物体间相互作用的具体预测。

方法

研究采用计算模拟方法,未进行新的人类或动物实验。网络结构方面:V1 模块由超柱(hypercolumn)构成,每柱包含不同朝向调谐的神经元池,输入由具有二维 Gabor 感受野的简单细胞滤波器提供,并显式引入皮层放大因子(cortical magnification factor)——越靠近中央凹的超柱神经元密度越高,按高斯函数随离心率衰减。V2、V4、IT 各层仅从紧邻下层模块中特定半径范围内的神经元池接收收敛连接(IT 为 1×1×2 池、V4 为 4×4×2、V2 为 16×16×2,V1 为 32×32×16)。PP 模块从 V1 与 V2 接收拓扑对齐的输入,表征空间位置。学习阶段关闭反馈投射,采用具有时间衰减痕迹的 Hebb 规则训练 V1→V2→V4→IT 的前馈连接,训练过程中物体在视野内平移;学习完成后,反馈权重设定为对应前馈权重的固定缩放。识别阶段的动力学过程由 Wilson–Cowan 型神经元池活动方程组描述,采用 Euler 方法以 dt=1ms 进行数值积分。侧抑制宽度参数为 σV1=16、σV2=2、σV4=1、σIT=1,外部注意偏置参数为 0.07。

验证时,模拟结果与两组已有实验数据进行了对照:第一组为 Kastner 等(1999)的 fMRI 实验范式,刺激呈现在右上象限四个相邻位置,分为顺序(SEQ)与同时(SIM)呈现,刺激持续 250ms、间隔 750ms 空白,采用 15 秒 block 设计。注意调制指数定义为 AMI=(ATT−UNATT)/ATT,其中 ATT 为注意条件下的反应;模拟中通过对模块内神经元池活动进行时空积分生成模拟 BOLD 信号。第二组为 Rolls 等(2003, 2004)在清醒猴 IT 皮层的单细胞记录,比较有效刺激在空白背景与复杂自然背景下随注视点离心率变化的发放率。网络输入使用真实图像刺激(字母构成的几何图形及自然森林场景)。

主要结果

  1. 注意调制幅度沿腹侧通路逐级增大(图3)。模拟复现了 Kastner 等(1999)的核心发现:AMI 从 V1、V2 到 V4、IT 逐渐升高,且同时呈现条件下的注意增强效应(AMISIM)大于顺序呈现条件(AMISEQ),表明注意部分缓解了刺激间的相互竞争抑制。机制上,空间注意偏置作用于 PP,经反馈影响 V2 与 V1,并沿前馈通路传递至 IT;调制梯度的形成来自层级收敛使局部侧抑制在深层转化为全局竞争。作者说明模拟旨在进行机制性定性解释,未追求参数上的绝对拟合。

  2. IT 神经元的有效感受野在自然杂乱场景中缩小(图4、图5)。模拟中,空白背景下 IT 神经元对目标物体的反应随离心率衰减较慢(表现为大感受野,衰减主要源于 V1 的放大因子);在复杂自然背景下,同一神经元的感受野明显缩小。该结果与 Rolls 等(2004)的单细胞记录一致:单刺激在空白背景下感受野约为 78°,在自然场景中缩减至约 22°;随着注视点偏离中央凹,神经元发放率下降,但刺激选择性保持不变。模型表明,感受野缩小主要源于 IT 层的全局竞争抑制,次要源于各层内目标特征与背景特征之间的局部竞争。

  3. 物体注意偏置对感受野缩小具有有限的代偿作用(图6)。引入来自前额叶 46v 的物体注意偏置后,复杂背景下感受野缩小的幅度略有缓解。这一现象与 Rolls 等(2004)的生理学观察相符:在自然杂乱背景下,注意对 IT 神经元反应特性的调节幅度相对较小。

  4. 双物体场景中干扰物位置影响竞争强度,并衍生出两项可检验预测(图7、图8、图9)。在空白背景上同时呈现目标与干扰物时,当干扰物位于中央凹另一侧固定距离 D(D=15、25、30、40、45)处,目标特异性 IT 神经元的感受野随 D 减小(干扰物靠近中央凹)而缩小,因为放大因子导致中央凹附近的干扰物在高级视区诱发更强烈的全局竞争。基于此,模型提出两项预测:预测一(图8),若将干扰物移至与目标同侧,早期视区(主要为 V1)将引入额外的局部抑制,抑制最大值随干扰物位置移动,导致感受野出现空间不对称的形变;预测二(图9),在自然背景中若在目标物体周围添加空白环或低对比区域以消除早期视区的局部竞争,IT 感受野应大于完整复杂背景条件,但因高级视区的全局竞争依然存在,仍将小于完全空白背景条件。

  5. 两条通路的协同表现出明确的时间动力学特征(图10)。在物体注意模式下(对 IT 目标神经元池施加偏置),活动极化从腹侧通路 TE 开始,逆向传递至 V4、V2、V1,并在 PP 形成空间定位峰值;在空间注意模式下(对 PP 施加位置偏置),极化从 PP 起始,经 V1–V2 前馈至 V4 和 TE 完成物体识别。模型中注意对 V1 的调制出现约 120–200ms 的延迟,与 Martinez 等(2001)报道的电生理时延(V1 注意潜伏期 160–260ms,纹外皮层 70–130ms)定性吻合;同时模型再现了注意调制的乘性特征。

图注解读

图 1 · 模型总体架构:两流五模块与前馈/反馈连接

原文图注:Fig. 1. Cortical architecture for hierarchical and attention-based visual perception. The system is essentially composed of five modules structured such that they resemble the two known main visual paths of the mammalian visual cortex. Information from the retino-geniculo-striate pathway enters the visual cortex through area V 1 in the occipital lobe and proceeds into two processing streams. The occipital-temporal stream leads ventrally through V 2–V 4 and IT (inferior temporal visual cortex), and is mainly concerned with object recognition. The occipito-parietal stream leads dorsally into PP (posterior parietal complex), and is responsible for maintaining a spatial map of an object's location. The solid lines with arrows between levels show the forward connections, and the dashed lines the top–down backprojections.

五个模块按哺乳动物视觉通路布局:腹侧通路 V1→V2→V4→IT 负责物体识别,背侧通路 V1→V2→PP 负责维持空间位置图;实线箭头表示前馈连接,虚线箭头表示自上而下的反馈投射。V1 作为两条通路的共享输入端,承担了通路间信息交互的中介作用,构成了模型中注意效应双向传递的解剖基础。

Figure 1

图 2 · 层级收敛结构与竞争的逐级全局化

原文图注:Fig. 2. Hierarchical convergent forward projection in the ventral 'what' path of the visual system achieved by a pyramidal multi-layer network, corresponding to the brain areas V 1, V 2, V 4, TEO and TE (or IT), with convergence to each part of a layer from a small region of the preceding layer. The right part of the figure shows the different types of representation that may be built by implementing the biased competition hypothesis at each stage of the system. The attentive bias may correspond to recurrent attentional feedback connections, and the local competition between the neurons within a layer, may correspond to lateral local inhibitory connections. The local character of the competition within layers reveals itself effectively as a gradually increasing global competition between objects and/or parts of objects at the retina when deeper ventral layers are considered. Abbreviations: LGN, lateral geniculate nucleus; TEO posterior inferior temporal cortex; TE (or IT) inferior temporal cortex.

左侧显示腹侧通路多层金字塔式收敛网络(V1、V2、V4、TEO、TE),各层仅从前一层的小范围区域接收输入;右侧说明在偏置竞争机制下各层形成的表征形式。注意偏置通过反馈连接实现,层内局部竞争通过侧向抑制连接实现;随着层级加深与感受野扩大,局部侧抑制在高级区域表现为针对整个物体或物体部件的全局竞争。这一几何收敛特性解释了图3 中的注意调制梯度以及图5 中的感受野缩小。

Figure 2

图 3 · 注意调制指数沿腹侧流逐级增大(复现 fMRI)

原文图注:Fig. 3. Attentional modulation index (AMI) in visual cortex with sequentially and simultaneously presented stimuli. The AMI normalizes the attentional effects to the activity evoked in the corresponding attended condition. The effect of attention on a particular visual area is evident as the difference between the AMI observed by sequentially and simultaneously presented stimuli. Higher ventral stream visual cortical areas show more attentional modulation.

图分为实验数据(a,引自 Kastner 等 1999)与模拟结果(b):横轴为视觉皮层区域(V1 至 IT),纵轴为注意调制指数 AMI=(ATT−UNATT)/ATT。在实验与模拟中,AMI 均从 V1 到 V4、IT 逐级递增,且同时呈现条件下的注意调制效应显著大于顺序呈现条件。该结果定性复现了注意调制沿皮层通路增强的梯度现象,支持层级收敛促使竞争全局化的推论。

Figure 3

图 4 · 经验数据:自然场景中 IT 细胞反应随注视点远离而衰减

原文图注:Fig. 4. Firing of a temporal cortex cell to an effective stimulus presented either in a blank background or in a natural scene, as a function of the angle in degrees at which the monkey was fixating away from the effective stimulus. The task was to search for and touch the stimulus (after Rolls et al., 2003).

引自 Rolls 等(2003)的单细胞电生理记录:横轴为猴注视点偏离有效刺激的视角距离,纵轴为颞叶皮层神经元发放率,对比了空白背景与自然场景两种条件。在空白背景下,神经元反应随偏离角增大衰减缓慢;在自然场景下,反应随偏心角增大显著下降,表现为有效感受野缩小。该数据为图5 的模拟分析提供了生理对照依据。

Figure 4

图 5 · 模拟复现:复杂背景使 IT 感受野缩小

原文图注:Fig. 5. Average firing activity of an inferior temporal cortex neuron as a function of eccentricity from the fovea, in the simulation. When the object was in a blank background (solid line), large receptive fields are observed because of the translation invariance of inferior temporal neurons. The decay is mainly due to the magnification factor implemented in V 1. When the object was presented in a complex cluttered natural background (dashed line), the effective size of the receptive field of the same inferior temporal neuron was reduced because of competitive effects between the object features and the background features within each layer of the ventral stream.

模拟中 IT 神经元的空间调谐曲线:横轴为目标物体相对中央凹的离心率,纵轴为目标特异性 IT 神经元的平均发放率。实线表示空白背景条件,虚线表示复杂背景条件。空白背景下平缓的衰减主要受 V1 放大因子调制;复杂背景下神经元反应快速下降,感受野范围明显缩小,这一改变源于腹侧通路各层内目标特征与背景特征之间的竞争抑制。

Figure 5

图 6 · 物体注意偏置轻微缓解感受野缩小

原文图注:Fig. 6. Influence of object-based attentional top–down bias from prefrontal area 46v on the effective size of an inferior temporal cortex neuron for the case of an object in a blank (solid line) or a cluttered (dashed line) background. The average firing activity was normalized to the maximum value in order to compare the neuronal activity as a function of the eccentricity. When no attentional object bias was introduced (a), a reduction of the receptive field was observed. When attentional object bias was introduced (b), the reduction of the receptive field size due to the complex background was slightly reduced.

对比无注意偏置(a)与引入前额叶 46v 物体注意偏置(b)两种状态:横轴为离心率,纵轴为归一化平均发放率。在引入注意偏置后,复杂背景导致的感受野缩小程度得到部分缓解,注意反馈在竞争中为目标神经元提供了增益支持。这一有限的改善幅度与 Rolls 等(2004)在自然杂乱场景中观察到的注意调节强度相符。

Figure 6

图 7 · 干扰物越靠近中央凹,目标感受野越小

原文图注:Fig. 7. The average firing rate of an IT neuron specific for the target object is plotted as a function of the position of the target relative to the fovea. The different curves correspond to different locations D ¼ 15, 25, 30, 40 and 45 of the distractor object on the other side of the fovea. The corresponding D-value is attached at each curve. The single target object case (i.e., without a distractor) is also plotted (upper curve 'one object'). The size of the receptive field for the target object (curve decay) decreases with decreasing distance of the distractor object from the fovea.

双物体模拟:横轴为目标相对中央凹的位置,纵轴为目标特异性 IT 神经元的平均发放率。各曲线对应干扰物位于中央凹另一侧的不同距离 D(15、25、30、40、45),顶端曲线为无干扰物的对照。随着距离 D 减小(干扰物更接近中央凹),目标感受野的衰减加快,原因在于放大因子使近中央凹的干扰物在高级视区诱发了更强的全局竞争。

Figure 7

图 8 · 预测一:同侧干扰物产生随位置移动的局部抑制

原文图注:Fig. 8. (a) Diagrammatic description of condition 'same side' (s) and 'other side' (o) (see text). (b) and (c) For each D, two curves are plotted, one corresponding to the location of the distractor on the other side of the fovea (condition 'other side'), and the other corresponding to the location of the distractor on the same side of the fovea (condition 'same side'). The local activity reduction of the firing rate in the 'same side' condition with respect to the 'other side' condition was shifted with the shift of D, so that the maximum effect was always observed for a position of the target around D.

(a) 为同侧(same side, s)与异侧(other side, o)刺激配置示意图;(b)(c) 对比不同 D 条件下的发放曲线。当干扰物与目标位于同侧时,曲线在目标靠近干扰物(约 D 处)时出现局部的反应抑制谷,且该抑制位置随 D 的变化而平移。这反映了早期视区(主要在 V1)空间临近刺激之间的局部抑制机制,构成模型提出的首个可验证预测。

Figure 8

图 9 · 预测二:目标周围的空白环会增大 IT 感受野

原文图注:Fig. 9. Experimental prediction of receptive field size modulation when a single target object is surrounded locally by a blank ring. We predict an increase of the receptive field size of the target IT neuron relative to that measured with a complex background. On the other hand the receptive field predicted in the 'blank ring' (hole) is smaller than that corresponding to the 'blank background' condition.

模型预测的三种刺激条件下的感受野范围对比:完全空白背景(最大)、复杂杂乱背景(最小)、以及在复杂背景中为目标周围添加空白环(介于二者之间)。空白环移除了目标邻近区域在早期视区的竞争性输入,从而部分释放了局部抑制;但高级视区中由全局背景特征引发的竞争依然保留,因而感受野未能完全恢复至纯空白背景水平。

Figure 9

图 10 · 两种注意模式下的全模块动力学时序

原文图注:Fig. 10. Neuronal activity in all modules during: (a) visual search in object attention mode when the aim is to find the location of the object receiving attentional bias and (b) in spatial attention mode when the aim is to perform object recognition for the object at the spatial location receiving attentional bias. The visual stimuli consisted of a real scene with a target monkey face on a natural background. The maximum population activity of the neuronal pools corresponding to the identity or location of the target in the scene in all modules was compared against the maximum activity in pools coding any other locations or background objects.

采用自然背景猴脸刺激,展示各模块在物体注意模式(a)与空间注意模式(b)下神经元群体活动的演化时序。(a) 中群体活动的极化首先出现在腹侧高级区 TE,随后反向传播至 V4、V2、V1,并在背侧 PP 产生位置峰值(完成基于物体的空间定位);(b) 中极化首先出现在 PP,随后前馈传递至 V1–V2 并到达 V4 与 TE(完成指定位置的物体识别)。该时序延迟反映了各模块在局部吸引子演化与相互耦合中的动态过程。

Figure 10

讨论

研究表明,在具有前馈收敛特征的层级网络中引入对称反馈投射,可以解释注意调制在高级视区表现出的全局竞争效应。在该框架中,注意并非附加的功能组件,而是网络在前馈感觉驱动与自上而下偏置耦合作用下的稳态表现;腹侧与背侧通路通过低级视区的相互连接,实现了基于特征的注意与基于位置的注意之间的动态转换。感受野在复杂背景下的缩小由两级机制共同调节:IT 层的全局抑制降低非目标刺激的整体反应,而中央凹的高皮层放大率强化了近中央凹物体的竞争优势;早期视区的局部侧抑制则在空间邻近刺激间产生局部压抑效应。模型展现出与生理学记录一致的乘性调制特征,并将前馈识别模型通常缺失的反馈调节整合在统一的微分动力学系统中。

模型存在的局限包括:模拟与实验数据之间仍存在定量差异,主要功能在于定性揭示动力学规律;为降低计算开销,IT 层采用了极少数量的神经元池,其全局竞争通过简化连接实现,与生物皮层中高维、非拓扑重叠的表征存在差距;此外,关于同侧干扰物不对称抑制(图8)与空白环感受野部分恢复(图9)的两项实验预测,仍需进一步的神经生理学实验检验。

一句话总结

该模型表明,层级收敛与局部侧抑制的结合足以使局部特征竞争在高级视区转化为全局层面的物体竞争,从而为视皮层注意调制梯度的形成以及自然场景中感受野的动态缩小提供了基于动力学演化的统一机制。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。