A neurodynamical cortical model of visual attention and invariant object recognition

这是一篇计算神经科学建模论文：Deco 与 Rolls 把此前分离的两条建模路线——VisNet 式前馈特征层级（负责平移不变的物体识别）与多模块偏置竞争注意模型——焊接成一个统一的"神经动力学"（neurodynamical）大尺度皮层模型。模型用同一套动力学同时解释了 fMRI 尺度上注意调制从 V1 到 IT 逐级增强、单细胞尺度上 IT 神经元在自然杂乱场景中有效感受野缩小这两组现象，并给出两个可实验检验的新预测。对关心"注意与识别如何在一个系统里共存"的读者，这是偏置竞争路线的代表作。

研究背景

视觉系统面对的核心矛盾是：物体识别要求表征具有不变性（invariance），而视觉选择又要求把某个特定物体从背景中挑出来。灵长类皮层的经典解法是分成两条通路（Ungerleider & Mishkin, 1982）：腹侧"what"通路从 V1 经 V2、V4 到颞下皮层（inferior temporal cortex, IT，含 TEO 与 TE），计算形状与颜色等物体属性，其神经元有大的、平移不变的感受野（receptive field）和分布式编码；背侧"where"通路经 V2、V3、MT/MST 到后顶叶皮层（posterior parietal cortex, PP），负责维护物体位置的空间映射，顶叶神经元对视网膜或头相关位置敏感，并对被注意目标表现出增强反应。在机制层面，当时的主流解释是注意的偏置竞争假说（biased competition, Desimone & Duncan, 1995）：视野中的多个刺激各自激活相互竞争的神经元群，注意（指向位置或特征）通过视觉皮层之外产生的信号反馈到纹外皮层，使代表被注意刺激的细胞在竞争中获胜、压制代表干扰物的细胞。这一假说有单细胞层面的证据（Moran & Desimone, 1985；Chelazzi et al., 1993；Rolls & Tovee, 1995 等），也有人类 fMRI 层面的证据：Kastner 等（1998, 1999）发现多个刺激同时呈现时在纹外皮层相互抑制、顺序呈现则不然，空间注意可部分取消这种抑制，而且在没有视觉刺激、只有期待时，纹外皮层活动也会增强——提示自上而下的偏置来自额叶与顶叶。

缺口在于模型层面。当时已有两类互不相通的建模传统：其一是 VisNet 一族前馈特征层级网络，通过"痕迹学习规则"（trace learning rule，一种利用刺激在时间上连续出现的统计规律的修正 Hebb 规则）学出平移不变表征，能解决识别问题但没有反馈连接、处理不了注意；其二是 Deco 等的多模块注意模型，有前馈加反馈连接和偏置竞争动力学，能模拟单细胞、fMRI 与神经心理数据，却不包含不变性物体识别。此外，基于显著性图（saliency map）的模型（Itti & Koch, 2000）只有前馈加工、只把注意指向环境中的显著特征位置，根本不涉及物体识别。本文的目标很明确：把这两条线融合为一个模型，让"识别"与"注意"在同一套神经动力学里涌现。

研究思路

作者的总体策略是构造一个五模块层级网络：腹侧流为 V1、V2、V4、IT，背侧流为 V1、V2 到 PP，两条流通过共享的 V1（以及 V2）交互。模块间用收敛式前馈连接（每一层只从上一层的小区域接收输入）逐级扩大感受野，配以对称的反馈投射（backprojection，其强度设为前馈连接的一个比例参数，使其"能影响但不支配"前馈活动）；模块内用高斯权重的局部侧抑制实现竞争网络。前馈连接在学习阶段用痕迹规则训练出平移不变性；在识别阶段，整个系统作为一组平均场（mean-field）微分方程演化，注意作为来自前额叶的外部自上而下偏置进入——物体注意偏置施加于 IT（假设来自前额叶 46v 区），空间注意偏置施加于 PP（假设来自 46d 区）。关键的概念主张是：注意不是加在系统上的独立模块，而是整个网络在"刺激约束 + 注意偏置"下演化到满足两者的状态时的涌现（emergent）效应。

这个设计背后有一条清晰的逻辑链：层级收敛结构使"局部实现的竞争"沿腹侧流逐级获得"事实上全局"的性质——V1 里两个刺激分处拓扑映射的不同位置，局部侧抑制互不干扰；而到了 IT，大感受野与分布式交织的表征使同一层内的竞争变成对整个物体表征的全局竞争。作者赌的是：这一个几何事实可以同时解释 fMRI 上注意调制逐级增强的梯度、自然场景中 IT 感受野的缩小，并且能推出关于刺激间交互的新预测。这正是论文标题中"neurodynamical"的含义——从单神经元池的动力学方程出发，让宏观现象自己长出来。

方法

这是纯模拟研究，没有新的被试或动物实验。网络结构上：V1 模块由超柱（hypercolumn）构成，每柱含若干朝向柱，输入由带 Gabor 感受野（2D-Gabor 小波，参数受生理学约束）的简单细胞样滤波器提供，并显式建模皮层放大因子（cortical magnification factor）——越靠近中央凹的超柱拥有越多高空间分辨率神经元，密度按以中央凹为中心的高斯函数衰减。V2、V4、IT 每层只从紧邻下层模块中一定半径内的池接收收敛连接（在参数列举后补注：原文 Table 1 的 V1 维度（32×32×16）与正文参数（NV1=128）存在不一致，系原文如此，非转录错误。）。PP 模块从 V1、V2 接收拓扑对齐的连接，监视空间位置。学习阶段关闭反馈投射，用带衰减痕迹的 Hebb 规则（trace 规则）训练 V1→V2→V4→IT 连接，训练时物体在视野中逐位置移动；学习结束后反馈权重设为对应前馈权重的固定缩放。识别阶段的全系统动力学由 Wilson–Cowan 型池活动方程组描述（附录 A 给出完整数学表述），用 Euler 法以 dt=1ms 积分。侧抑制宽度参数为 σV1=16、σV2=2、σV4=1、σIT=1，外部注意偏置取 0.07，其余参数文中列明并称其选择"不关键"且基于生物学参数。

验证时，作者把模拟对齐到两组经验数据。其一是 Kastner 等（1999）的 fMRI 范式：刺激呈现在右上象限四个近邻位置，分顺序（SEQ）与同时（SIM）呈现，每处刺激 250ms 后平均 750ms 空白，15 秒 block 设计；注意调制指数定义为 AMI=(ATT−UNATT)/ATT，其中 ATT 为注意条件下的 fMRI 反应；模拟中注意条件在刺激出现前 10 秒的期待期即开始，并通过把模块内池活动做时空积分、积到 fMRI 的时间分辨率来生成"模拟 BOLD 信号"。其二是 Rolls 等（2003, 2004）在清醒猴 IT 的单细胞记录：比较有效刺激在空白背景与自然复杂背景下、随注视点远离刺激的角度变化的发放率。刺激用真实图像（字母组成的大字母、森林场景背景）输入网络。

主要结果

1. 注意调制幅度沿腹侧流逐级增大（图3）。模拟复现了 Kastner 等（1999）的核心发现：AMI 从 V1、V2 到 V4、IT 逐渐升高，且注意对同时呈现刺激的增强（AMISIM）大于顺序呈现（AMISEQ），说明注意部分抵消了刺激间的相互抑制。机制上，空间注意偏置加在 PP，经反馈影响 V2 与 V1，再沿前馈方向上传到 IT；而调制幅度逐级增大是层级收敛使局部侧抑制"事实上全局化"的直接后果——在 IT 中竞争已是全局的，在 V1 中两个刺激分处拓扑图不同位置、局部抑制互不作用。定量上模拟与实验有差异，作者声明其意图是定性分析。

2. IT 神经元的有效感受野在自然杂乱场景中缩小（图4、图5）。模拟中，空白背景下 IT 神经元对目标物体的发放随离心率衰减缓慢（大感受野，衰减主要来自 V1 放大因子），而同一神经元在复杂自然背景下感受野明显缩小。这与 Rolls 等（2004）的单细胞数据吻合：单一刺激在空白背景时感受野约 78°，在复杂自然场景中缩到约 22°；且离中央凹越远、神经元对物体的反应越弱，而选择性保持。作者把缩小主要归因于 IT 层（大感受野带来的）全局竞争，其次才是各层内目标特征与背景特征的局部竞争。

3. 物体注意偏置只能轻微缓解这种缩小（图6）。加入来自前额叶 46v 的物体注意偏置后，复杂背景下感受野缩小的程度略有减轻（表现为目标神经元略更平移不变）。这匹配 Rolls 等（2004）的观察：自然场景中注意对 IT 反应性质的影响相对较小——在过去的纯背景注意研究中注意效应很大，在真实场景里却小得多。

4. 两物体场景中干扰物的位置决定竞争强度，并给出两个新预测（图7、图8、图9）。空白背景上目标加干扰物时，干扰物固定在中央凹另一侧距离 D（D=15、25、30、40、45），目标特异性 IT 神经元的感受野随 D 减小（干扰物靠近中央凹）而缩小——放大因子使近凹干扰物在高层产生多得多的激活与更强的全局竞争。由此推出预测一（图8）：把干扰物放到与目标同侧时，会出现来自早期层（主要是 V1）的局部竞争效应，抑制最大处总在目标位于干扰物附近（约 D 处），且随 D 移动——感受野呈不对称调制。预测二（图9）：在自然背景中给目标物体周围加一圈空白环（或低对比区域），解除早期层的局部竞争后，IT 感受野应比完整复杂背景时增大，但仍小于完全空白背景条件（因为高层全局竞争仍在）。

5. 两条流的交互有明确动力学时序（图10）。物体注意模式（给 IT 目标池偏置、找其位置）中，活动极化从腹侧流 TE 开始，反向传播到 V4、V2、V1，最终在 PP 形成位置峰——即"由 what 求 where"；空间注意模式（给 PP 位置偏置、识别该处物体）中，极化从 PP 开始，经 V1–V2 前馈到 V4、TE——即"由 where 求 what"。注意对 V1 的调制延迟约 120–200ms，与 Martinez 等（2001）的电生理结果（V1 注意效应潜伏期 160–260ms，纹外皮层 70–130ms）一致；模型还能产生注意的乘性（multiplicative）而非加性调制（对应 McAdams & Maunsell, 1999）。

图注解读

图 1 · 模型总体架构：两流五模块与前馈/反馈连接

原文图注：Fig. 1. Cortical architecture for hierarchical and attention-based visual perception. The system is essentially composed of five modules structured such that they resemble the two known main visual paths of the mammalian visual cortex. Information from the retino-geniculo-striate pathway enters the visual cortex through area V 1 in the occipital lobe and proceeds into two processing streams. The occipital-temporal stream leads ventrally through V 2–V 4 and IT (inferior temporal visual cortex), and is mainly concerned with object recognition. The occipito-parietal stream leads dorsally into PP (posterior parietal complex), and is responsible for maintaining a spatial map of an object's location. The solid lines with arrows between levels show the forward connections, and the dashed lines the top–down backprojections.

这是全模型的接线图：五个模块按灵长类两条视觉通路布置，腹侧 V1→V2→V4→IT 管识别，背侧 V1→V2→PP 管空间位置；实线箭头是前馈连接，虚线是自上而下的反馈投射。读图要点在于 V1 是两条流的公共枢纽——两条流的交互正是通过共享 V1（与 V2）实现的，这是后文所有注意效应传导路径的基础。它支撑"研究思路"一节里对整体架构的描述。

图 2 · 层级收敛结构与竞争的逐级全局化

原文图注：Fig. 2. Hierarchical convergent forward projection in the ventral 'what' path of the visual system achieved by a pyramidal multi-layer network, corresponding to the brain areas V 1, V 2, V 4, TEO and TE (or IT), with convergence to each part of a layer from a small region of the preceding layer. The right part of the figure shows the different types of representation that may be built by implementing the biased competition hypothesis at each stage of the system. The attentive bias may correspond to recurrent attentional feedback connections, and the local competition between the neurons within a layer, may correspond to lateral local inhibitory connections. The local character of the competition within layers reveals itself effectively as a gradually increasing global competition between objects and/or parts of objects at the retina when deeper ventral layers are considered. Abbreviations: LGN, lateral geniculate nucleus; TEO posterior inferior temporal cortex; TE (or IT) inferior temporal cortex.

这张示意图是全文核心思想的图解：左侧是金字塔式的多层收敛网络（V1、V2、V4、TEO、TE），每层只从上层小区域收敛；右侧说明在每一级实施偏置竞争后各层建起的表征类型。注意偏置对应反馈连接，层内局部竞争对应侧向抑制连接——而正是这些局部竞争，沿层级越深越表现为对整个物体（或物体部件）的趋于全局的竞争。读这张图要抓住"局部抑制→全局竞争"的升级过程，它是图3 梯度与图5 感受野缩小的统一解释。

图 3 · 注意调制指数沿腹侧流逐级增大（复现 fMRI）

原文图注：Fig. 3. Attentional modulation index (AMI) in visual cortex with sequentially and simultaneously presented stimuli. The AMI normalizes the attentional effects to the activity evoked in the corresponding attended condition. The effect of attention on a particular visual area is evident as the difference between the AMI observed by sequentially and simultaneously presented stimuli. Higher ventral stream visual cortical areas show more attentional modulation.

图分 a（Kastner 等 1999 的实验数据）与 b（本文模拟）：横轴是视觉区（V1 到 IT），纵轴是 AMI=(ATT−UNATT)/ATT，注意的效应以顺序与同时呈现两种条件下 AMI 的差异体现。无论实验还是模拟，曲线都从 V1 到 V4、IT 逐渐抬高，同时呈现条件下的注意效应大于顺序呈现。这张图支撑"主要结果"第 1 条：模拟在定性上复现了注意调制逐级增强的 fMRI 梯度，作者将其归因于层级收敛导致的竞争全局化。

图 4 · 经验数据：自然场景中 IT 细胞反应随注视点远离而衰减

原文图注：Fig. 4. Firing of a temporal cortex cell to an effective stimulus presented either in a blank background or in a natural scene, as a function of the angle in degrees at which the monkey was fixating away from the effective stimulus. The task was to search for and touch the stimulus (after Rolls et al., 2003).

这张是引自 Rolls 等（2003）的真实单细胞数据，作为模拟的对照基准：横轴是猴注视点偏离有效刺激的角度，纵轴是该颞叶皮层细胞的发放，比较空白背景与自然场景两种条件。空白背景下反应随偏心角衰减缓慢（大感受野），自然场景下衰减陡峭得多（有效感受野缩小）。注意这是"要搜索并触摸该刺激"的任务。它为图5 的模拟结果提供经验锚点，支撑"主要结果"第 2 条。

图 5 · 模拟复现：复杂背景使 IT 感受野缩小

原文图注：Fig. 5. Average firing activity of an inferior temporal cortex neuron as a function of eccentricity from the fovea, in the simulation. When the object was in a blank background (solid line), large receptive fields are observed because of the translation invariance of inferior temporal neurons. The decay is mainly due to the magnification factor implemented in V 1. When the object was presented in a complex cluttered natural background (dashed line), the effective size of the receptive field of the same inferior temporal neuron was reduced because of competitive effects between the object features and the background features within each layer of the ventral stream.

模拟版"图4"：横轴为目标物体相对中央凹的离心率，纵轴为目标特异性 IT 神经元的平均发放；实线为空白背景，虚线为复杂杂乱背景；感受野大小定义为半最大反应处的宽度。实线衰减平缓且主要归因于 V1 的放大因子，虚线陡降显示复杂背景下感受野缩小，机制是腹侧流各层内目标特征与背景特征间的竞争。与图4 并置即可看出模拟与数据在形态上的对应，支撑"主要结果"第 2 条。

图 6 · 物体注意偏置轻微缓解感受野缩小

原文图注：Fig. 6. Influence of object-based attentional top–down bias from prefrontal area 46v on the effective size of an inferior temporal cortex neuron for the case of an object in a blank (solid line) or a cluttered (dashed line) background. The average firing activity was normalized to the maximum value in order to compare the neuronal activity as a function of the eccentricity. When no attentional object bias was introduced (a), a reduction of the receptive field was observed. When attentional object bias was introduced (b), the reduction of the receptive field size due to the complex background was slightly reduced.

分 a（无注意偏置）与 b（有来自前额叶 46v 的物体注意偏置）两栏：横轴为离心率，纵轴为归一化到最大值的平均发放，实线空白背景、虚线杂乱背景。a 中复杂背景导致明显缩小；b 中缩小程度略有减轻——注意偏置使竞争向目标神经元倾斜，让其更平移不变。效应"虽小但存在"，恰好对应 Rolls 等（2004）"自然场景中注意效应相对较小"的经验观察，支撑"主要结果"第 3 条。

图 7 · 干扰物越靠近中央凹，目标感受野越小

原文图注：Fig. 7. The average firing rate of an IT neuron specific for the target object is plotted as a function of the position of the target relative to the fovea. The different curves correspond to different locations D ¼ 15, 25, 30, 40 and 45 of the distractor object on the other side of the fovea. The corresponding D-value is attached at each curve. The single target object case (i.e., without a distractor) is also plotted (upper curve 'one object'). The size of the receptive field for the target object (curve decay) decreases with decreasing distance of the distractor object from the fovea.

空白背景、双物体模拟：横轴为目标相对中央凹的位置，纵轴为目标特异性 IT 神经元平均发放率；每条曲线对应干扰物在中央凹另一侧的固定距离 D（15/25/30/40/45），最上方"one object"曲线为无干扰物情形。读图看曲线衰减快慢：D 越小（干扰物越近中央凹），目标感受野衰减越快、越小。机制是放大因子使近凹干扰物在 IT 层产生更强激活与全局竞争。这是"主要结果"第 4 条的直接证据，也铺垫了图8 的不对称性预测。

图 8 · 预测一：同侧干扰物产生随位置移动的局部抑制

原文图注：Fig. 8. (a) Diagrammatic description of condition 'same side' (s) and 'other side' (o) (see text). (b) and (c) For each D, two curves are plotted, one corresponding to the location of the distractor on the other side of the fovea (condition 'other side'), and the other corresponding to the location of the distractor on the same side of the fovea (condition 'same side'). The local activity reduction of the firing rate in the 'same side' condition with respect to the 'other side' condition was shifted with the shift of D, so that the maximum effect was always observed for a position of the target around D.

(a) 是两种摆放方式的示意图：干扰物与目标同侧（s）或异侧（o）。(b)(c) 中对每个 D 画两条曲线（同侧与异侧条件）对比。关键读法：同侧条件相对异侧条件出现额外的局部发放压抑，且这个压抑谷随 D 移动——最大效应总是出现在目标位于干扰物附近（约 D）时。这说明存在来自早期层（主要是 V1）的局部竞争：两物体在空间上邻近时早期层抑制最强。这是模型的可检验预测之一，支撑"主要结果"第 4 条。

图 9 · 预测二：目标周围的空白环会增大 IT 感受野

原文图注：Fig. 9. Experimental prediction of receptive field size modulation when a single target object is surrounded locally by a blank ring. We predict an increase of the receptive field size of the target IT neuron relative to that measured with a complex background. On the other hand the receptive field predicted in the 'blank ring' (hole) is smaller than that corresponding to the 'blank background' condition.

这张预测图比较三种条件的 IT 感受野大小：完全空白背景（最大）、复杂背景（最小）、复杂背景但目标周围加空白环（居中）。空白环移除了目标邻域内 V1 层的竞争性局部活动，因此解除早期层局部抑制、使感受野比完整复杂背景时增大；但高层（V4、IT）由背景特征驱动的全局竞争仍在，故仍小于纯空白背景条件。文中特别提醒，做神经生理检验时最好用低对比区域而非灰色圆环，以免圆环本身被当成一个物体。支撑"主要结果"第 4 条的后半部分。

图 10 · 两种注意模式下的全模块动力学时序

原文图注：Fig. 10. Neuronal activity in all modules during: (a) visual search in object attention mode when the aim is to find the location of the object receiving attentional bias and (b) in spatial attention mode when the aim is to perform object recognition for the object at the spatial location receiving attentional bias. The visual stimuli consisted of a real scene with a target monkey face on a natural background. The maximum population activity of the neuronal pools corresponding to the identity or location of the target in the scene in all modules was compared against the maximum activity in pools coding any other locations or background objects.

刺激为自然背景上的猴脸真实图像，(a) 物体注意模式、(b) 空间注意模式，各模块画的是目标池与背景池的群体最大活动随时间的演化。读法是看极化出现的先后顺序：(a) 中极化从 TE 起步、反向传播经 V4–V2–V1 最后到 PP（找到目标位置，"由 what 求 where"）；(b) 中极化从 PP 起步、经 V1–V2 前馈到 V4 与 TE（识别给定位置处的物体，"由 where 求 what"）。作者强调这些延迟不是模块间传输延迟（文中设为 0），而是各模块分布式吸引子形成并相互影响所需的时间。支撑"主要结果"第 5 条。

讨论

作者的收束论点是：一个特征层级网络（VisNet 一系）加上带反馈投射的动力学模型，就能同时解释注意性自上而下调制在 IT 比早期模块"事实上更全局"的现象。注意在这里不是独立机制，而是前馈连接与再入式（re-entrant）反馈连接耦合的涌现结果——腹侧流 V1–V2–V4–IT 与背侧流 V1–V2–PP 通过共享的早期模块交互，物体注意与空间注意由此互相转化。感受野缩小则由全局与局部两种抑制共同解释：IT 间的有效全局抑制压低大多数刺激的发放，而中央凹的大放大因子使凹处物体表征最强；V1 的局部抑制则解释了空白环实验预测。作者还与另一类模型对话：Trappenberg、Rolls 与 Stringer（2002）用吸引子网络加放大因子加权输入来解释同一现象——复杂背景的强凹部输入占据吸引子，使周边目标输入无法捕获它；本文模型同样利用放大因子，但把竞争实现为在 IT 中 effectively 全局化的局部侧抑制。此外模型还自然产生注意的乘性调制，且前馈模型（如 Riesenhuber & Poggio 综述所列）无法处理的自上而下过程在这里是内置的。

局限方面作者相当坦率：模拟与经验数据的定量差异来自参数取值，论文的自我定位是"定性分析"；IT 模块只用极少神经元，竞争的全局性在模拟中靠这一点实现，作者承认更真实的实现应是分布式、非拓扑交织的表征；两条流交互的精确时序不是本文主题（在 Deco & Lee, 2002 等另行处理），本文只是指出时序结果与 Martinez 等（2001）的 V1 长潜伏期注意效应一致。文中的预测（图8、图9）按作者说法是留给实验检验的——文中未详述这些预测后来是否被验证。

一句话总结

我的理解是：这篇文章真正的贡献不在模型细节的逼真度，而在于点破了一个被忽视的几何事实——只要层级是收敛式的、抑制是局部的，竞争就会沿层级自动升级为全局竞争，fMRI 调制梯度和自然场景里的感受野缩小不过是同一个机制的两张面孔。把识别和注意焊进同一套动力学，比各自为政的前馈识别模型和显著性图注意模型都更完整；但 IT 层靠极少数神经元来扮演"全局竞争"，定量层面只能说定性吻合，两个预测是否已被后续实验坐实，文中并未交代。