一句话定位:本文基于四层无监督模型 VisNet(腹侧视觉流物体识别模型)检验两个问题:第一,视不变物体识别所依赖的“非意外属性”(non-accidental properties, NAPs,如轮廓是凸是凹)能否通过无监督学习自发编码,同时对“度量属性”(metric properties, MPs,如曲率大小)保持不变;第二,层级网络的表征容量机制——顶层神经元分别对应独立物体时,中间层神经元是否被多个物体复用。模拟结果支持这两点,并给出了 NAP 学习机制的计算解释。
研究背景
物体识别可利用两类图像特征:非意外属性(NAP)在一定视角变化下保持稳定,如边缘挺直、凹凸走向及平行关系;度量属性(MP)随视角连续改变,如曲率大小与长宽比。心理物理学、脑成像与猕猴 IT 电生理记录显示,NAP 对视不变识别作用显著,相关神经元对其调谐更敏感。然而,这些特征如何如何在无监督腹侧视觉通路中形成,目前尚不清楚。若模型仅记忆训练样本的各个孤立视角,无法说明其能否将相同 NAP 泛化到度量值不同的新物体。
表征容量是另一个核心问题。若顶层神经元分别选择不同物体,中间层需提供大量部件与特征组合;各层若显式表达所有高阶组合,会导致特征单元数量膨胀。Rolls 提出的替代方案是每层仅学习低阶特征组合,中间层神经元充当公共部件被多个物体复用,顶层再形成相对独立的物体表征。该假设与 NAP 形成机制共享同一计算背景:痕迹学习利用时序相邻图像,将同一物体的不同度量值关联,并通过不同物体间重叠的度量值实现属性泛化,无需额外的监督类别标签。
本文使用包含凹边、直边与凸边的薄板刺激及其不同倾角训练 VisNet,检验顶层是否按 NAP 聚类并对 MP 保持不变;同时用正方形及其 13 种边与相邻组合,检验中间层复用与顶层正交性。模拟结果表明:NAP 可在跨视角变化的 MP 重叠中涌现,高容量源于公共部件的逐层重组。该结论依赖 VisNet 的学习规则与刺激统计,属于模型层面的计算验证,其实际神经生物学对应仍需实验检验。
研究思路
研究包含两条核心假设。第一条针对 NAP:VisNet 的架构(无监督竞争学习结合时间痕迹学习规则 temporal trace learning rule)无需显式类别标签,即可形成对 NAP 敏感、对 MP 相对不敏感的表征,并能泛化至具有相同 NAP 但度量值不同的新物体。为此,作者设计了 7 个薄板状物体(3 个凹边、1 个直边圆柱、3 个凸边),各包含 8 个前后倾角视角,训练后通过群体相关矩阵与单神经元“物体×视角”响应矩阵检验第 4 层表征。作者据此提出模型机制:同一物体在不同视角下呈现不同曲率值,痕迹规则将其时序关联;由于另一物体的某些视角共享部分曲率值,泛化得以产生,即 NAP 不变性由 MP 的统计重叠形成。
第二条针对层级编码:将正方形的四条边及其相邻组合共 13 种刺激输入 VisNet。若第 4 层对 13 个物体的表征相互正交,而中间层(第 2、3 层)神经元对多个刺激均有响应,即表明中间层神经元被多物体复用,从而支持高网络容量。该测试通过结构明确的几何刺激直接检验组合编码假说。
方法
VisNet 采用四层层级化收敛竞争网络架构:输入层为 256×256×16 的二维 Gabor 滤波器组,模拟 V1 简单细胞(空间频率 0.0625–0.5 周期/像素,跨四个八度;朝向 0°–135° 每 45° 一档;正负相位各半,参考简单细胞四分相位对数据)。第 1 至第 4 层各包含 32×32 个神经元,分别对应 V2、V4、后 IT(TEO)与前 IT(TE)。前馈连接源自前一层局部拓扑区域,连接概率按高斯径向衰减,感受野尺寸逐层放大(模拟 V1 的 1.3° 至 TE 的 50° 收敛)。层内采用局部侧抑制(抑制半径与前馈收敛范围相当)与 sigmoid 激活函数实现对比增强与竞争,各层发放稀疏度分别设为 0.02、0.01、0.01、0.02。
突触更新采用修改版 Hebb 痕迹规则:δw = α · y(τ−1) · xj,即基于上一时刻的突触后活动痕迹更新当前权重,对应自然视觉中时序相邻帧多来自同一物体变换的统计特性。痕迹参数 η 在第 2 层为 0.6,第 3、4 层为 0.8;第 1 层采用纯联想学习(无时间痕迹),以在不变性学习前优先建立局部空间特征组合。学习率设为第 2 层 0.4、第 3 与 4 层 0.1,权重执行显式归一化,训练 10 个 epoch。该痕迹机制对应 NMDA 受体约 100 ms 的动力学过程及短暂视觉刺激后神经元 100–400 ms 的持续发放窗口。表征性能通过 Shannon 单细胞与多细胞信息量评估,并计算全层神经元在各物体所有变换下的跨物体相关矩阵,以及单神经元的物体×视角发放率矩阵。
主要结果
- 第 4 层神经元按 NAP 分组编码并对 MP 保持不变。在 7 物体×8 倾角(±6°、±19°、±32°、±45°)刺激集训练 10 个 epoch 后,第 4 层部分神经元对全部凹边物体(1–3)的各个视角均有响应,对其他物体无响应;另有神经元分别特异响应直边圆柱(物体 4)或凸边物体(5–7)。群体相关矩阵表明:同一 NAP 组内各变换高度相关,不同 NAP 组间相关接近零,凹边组与圆柱间仅见微弱相关(图 4)。
- 单神经元水平的选择性与不变性。第 4 层代表性神经元(单元 883)对全部凹边物体的所有 8 个视角均呈现高发放,对直边与凸边物体发放为零(图 5),表明单个细胞具备 NAP 选择性,同时对曲率这一度量属性保持不变。
- MP 不变性支持跨物体泛化。痕迹规则关联了同一物体各视角下的连续曲率变化;由于不同物体(如物体 1 与 2)在特定倾角下具有重叠曲率,网络在未经跨物体关联训练的情况下实现了同类 NAP 物体的泛化——凸边物体 5–7 之间无显式关联标签,单神经元与群体仍对全部凸边刺激发生共响应(图 3、4)。
- 中间层部件复用与顶层正交表征。在正方形分解实验中,第 4 层对 13 种刺激的表征相互正交(相关矩阵呈块对角分布;神经元 410 仅响应完整正方形,不响应任何局部子部件,图 7、8a)。第 3 层出现部分跨物体相关,第 2 层与第 1 层呈现广泛的非正交性:第 2 层神经元 609 同时响应物体 1、2、4;神经元 725 响应物体 1、2、3、7;调谐于顶边(物体 13)的神经元 242 对包含顶边的物体 8、9、3、4、5、1 均呈梯度响应(图 8b–d)。
- 网络容量机制。中间层神经元作为低阶特征与特征组合的公共单元被多个物体共享复用,至顶层整流为相互正交的物体表征。这种分层复用结构使有限神经元数量能够编码大规模物体集合,与灵长类 IT 皮层“信息随采样神经元数量近似线性增长”的群体编码特性一致。
图注解读
图 1 · 特征层级式物体识别的架构思想
原文图注:Fig. 1. The feature hierarchy approach to object recognition. The inputs may be neurons tuned to oriented straight line segments. In early intermediate levels neurons respond to a combination of these inputs in the correct spatial position with respect to each other. In further intermediate levels, of which there may be several, neurons respond with some invariance to the feature combinations represented early, and form higher order feature combinations. ……
该图展示模型的理论架构:输入层为具备朝向调谐的线段检测器;早期中间层在相对空间位置约束下整合特征;更高阶中间层形成具备局部不变性的特征组合;顶层输出具备位置、尺度与视角不变性的物体表征。逐层空间收敛设计使顶层单元能够整合全视野信息。图示对应层级低阶组合与不变性逐层累积的基本假设。

图 2 · 收敛架构:脑与 VisNet 的对应
原文图注:Fig. 2. Convergence in the visual system. Right – as it occurs in the brain. V1, visual cortex area V1; TEO, posterior inferior temporal cortex; TE, inferior temporal cortex (IT). Left – as implemented in VisNet. Convergence through the network is designed to provide fourth layer neurons with information from across the entire input retina.
右侧为灵长类腹侧通路(V1→V2→V4→TEO→TE)感受野逐级扩大的解剖收敛示意;左侧为 VisNet 的四层映射结构(第 1–4 层对应 V2、V4、TEO、TE)。横轴表示视网膜偏心距,纵轴表示感受野范围(度),自 V1/LGN 的 1.3° 逐级收敛扩大至 TE 的 50°。该结构支持第 4 层神经元整合全视野信息,提供平移不变性的网络基础。

图 3 · NAP 与 MP 刺激集
原文图注:Fig. 3. Encoding of non-accidental properties. Stimuli used to investigate non-accidental properties (NAP) vs metric properties (MP). Each object is shown as white on a grey background. Objects 1–3 have the non-accidental property of concave edges. Object 4 has the non-accidental property of parallel edges. Objects 5–7 have the non-accidental property of convex edges. ……
刺激集包含 7 个物体(各占一行),分别呈现 8 个倾角视角(−45° 至 +45°)。凹边物体随倾角改变呈现连续变化的轮廓曲率(度量属性 MP),但凹陷走向始终保持(非意外属性 NAP);直边圆柱的平行边界同样跨视角恒定。物体端面经裁剪以去除额外轮廓线索。图示对应结果中度量属性重叠支持非意外属性泛化的实验设计。

图 4 · 层 4 群体相关矩阵:按 NAP 聚块
原文图注:Fig. 4. Encoding of non-accidental properties. Correlations between the neuronal representations of the 7 objects used in the non-accidental property (NAP) investigation provided in VisNet layer 4. Each NAP object had 8 transforms, as illustrated in Fig. 3, and so each object in the correlation matrix is represented by each of its 8 transforms (with transform 1 of each object corresponding to a tilt of −40 deg). ……
56×56 相关矩阵展示第 4 层神经元在 7 个物体×8 种变换下的响应相关性。沿对角线出现三个强相关模块,分别对应凹边组(物体 1–3)、直边圆柱(物体 4)及凸边组(物体 5–7)内部各视角间的稳定表征;模块间相关接近零,仅凹边与圆柱间存在微弱相关。结果表明第 4 层群体表征主要由 NAP 主导分类,对视角倾斜保持不变。

图 5 · 单神经元对 NAP 的选择性与对 MP 的不变性
原文图注:Fig. 5. Encoding of non-accidental properties. Responses of a single neuron in layer 4 of VisNet to the set of 7 objects each shown with eight views. View 1 corresponds to a tilt of −40 deg as shown in Fig. 3, and view 8 to +30 deg. Objects 1–3 have the non-accidental property of concave edges. Object 4 has the non-accidental property of parallel edges. Objects 5–7 have the non-accidental property of convex edges.
第 4 层神经元 883 的“物体×视角”发放率分布。行对应 7 个测试物体,列对应 8 个倾斜视角,纵轴表示发放率。该单元对凹边物体(1–3)的所有视角均保持稳定发放,对直边与凸边物体无响应,显示单细胞水平兼具 NAP 特异调谐与跨曲率度量变化的容忍性。

图 6 · 方形实验的 13 个刺激
原文图注:Fig. 6. Encoding of information in intermediate layers of VisNet. Stimuli used to investigate coding of feature combinations in intermediate layers of VisNet. Every feature or feature combination with adjacent features was a different object to be learned as a different object by VisNet.
测试刺激包含完整正方形(物体 1)及其边线构成的 12 种子结构组合(单线段、直角组合、三边 U 形等),每种刺激作为独立类别分别训练。刺激集具备明确的部件包含与重叠关系,用于定量检测网络各层的正交性与特征复用程度。

图 7 · 四层的物体相关矩阵对比:从弥散到正交
原文图注:Fig. 7. Encoding of information in intermediate layers of VisNet. Correlations between the firing of neurons that represent each of the 13 objects in the Square experiment in different layers of VisNet. Layer 4 is the top layer, and layer 1 is the layer that receives from V1.
四个 13×13 矩阵分别呈现第 4、3、2、1 层在 13 种正方形及其子结构刺激下的神经元群体相关性。第 4 层表现为对角块状分布,各刺激表征彼此正交;第 3 层出现部分跨刺激相关;第 2 层与第 1 层表现出广泛的非正交性与特征共享相关,反映从低层特征共享到高层独立表征的逐级转换。

图 8 · 单神经元调谐:顶层专一、中间层复用
原文图注:Fig. 8. Encoding of information in intermediate layers of VisNet. Examples of the tuning of single neurons in different layers to the set of stimuli. (a). A neuron in layer 4 selected to have responses to object 1, the whole square, responded only to that object, and not to any of the components (objects 2–13). This exemplifies the orthogonal object selectivity of single neurons in layer 4. (b). A layer 2 neuron selected to have responses to object 1 also in fact responded to objects 2 and 4 (with the objects illustrated in Fig. 6). ……
各层代表性神经元的刺激调谐分布:(a) 第 4 层神经元 410 仅响应完整正方形(物体 1),对所有局部子部件均无响应;(b)(c) 第 2 层两个神经元在优先响应物体 1 的同时,对含有共享线段的其他组合刺激产生稳定发放;(d) 调谐于顶边的第 2 层神经元 242 对所有包含顶边结构的组合呈现梯度发放。结果表明顶层表征高度特异,中间层神经元在不同组合间被广泛复用。

讨论
本文提出的机制假说指出:物体在短时程内的连续视角变换通过痕迹规则将动态变化的度量属性(如不同倾角下的曲率度量)绑定;当不同物体在特定变换下共享相近度量属性时,基于时序关联的学习会自动促成同类非意外属性跨物体的泛化。这一结果为 Biederman 的部件识别理论补充了无监督学习实现的计算可能。在编码容量方面,作者指出 IT 皮层单神经元响应谱接近非相关、群体信息量随神经元数量呈近线性增长,反映独立分布式编码特性;VisNet 中间层神经元共享与顶层正交输出的结构符合该实验观察。与 Parker & Serre(2015)结合痕迹规则的 HMAX 模型相比,本文明确检验了 NAP 编码,并展示了向度量差异新物体的泛化能力。作者同时指出,生物视觉系统受限于传导延迟与反应时,主要依赖前馈 4–5 个皮层区域完成快速识别,这与需要海量迭代训练的深层监督网络存在机制差异。本文结论主要基于简化刺激与计算模型,其关于真实视觉皮层中 NAP 涌现的预测仍待直接电生理记录检验。
一句话总结
本研究通过 VisNet 模型表明,基于时序连续性的无监督痕迹学习能够使网络利用连续度量属性的重叠形成对非意外属性的不变性泛化,并通过中间层特征复用与顶层正交化支持高容量物体表征。