IT / 文献库

PAPER 000 / CLOSE READING

Invariant object recognition in the visual system with novel views of 3D objects

语义审核:needs_minor_revision · 图表审核:minor_issue

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · VisNet 四层架构与视觉通路的对应
    2. 图 2 · 球面刺激的特征与位置编码
    3. 图 3 · 六个三元组刺激在五个旋转视角下的样子
    4. 图 4 · 实验 1 与实验 2 的信息量对比
    5. 图 5 · 一个顶层神经元的响应谱
  6. 讨论
  7. 一句话总结

一句话定位:本文通过层级神经网络模型探讨视觉系统对未见视角的泛化机制——即系统在仅观察过物体少数视角时,如何识别新的三维朝向。作者在 VisNet 模型中表明,当低层网络预先学习了三维物体表面特征随深度旋转发生的透视变形(perspective transform)后,高层仅需经过四个视角的关联训练,即可对未见过的第五个新视角产生视角不变性响应。该工作将连续时间“迹踪学习”(trace learning)机制从二维平移拓展至三维深度旋转与新视角泛化场景。

研究背景

电生理研究表明,在灵长类腹侧视觉通路(V1、V2、V4 至下颞叶皮层 IT)中,神经元感受野(receptive field)逐级扩大,顶层神经元能够对物体呈现跨视角、尺寸与平移位置的不变性响应(Desimone 1991;Tanaka 系列;Logothetis 等 1995;Booth & Rolls 1998)。Rolls 等提出的计算架构包含带局部侧向抑制的前馈层级网络、拓扑汇聚连接,以及带有“激活迹踪”(activity trace)的修正 Hebb 学习规则。该规则利用物体在自然运动中连续变换视图在时间上高度相关的统计特性(Földiák 1991),在 VisNet 模型中实现了针对平移与缩放的不变性自组织学习(Wallis & Rolls, 1997)。

然而,关于三维深度旋转的不变性机制仍存在未决问题。深度旋转引起的变化可分为两类:一是“通用视图(generic view)之间”由于自遮挡和拓扑改变导致的离散突变(Koenderink, 1990);二是“通用视图之内”随视线小幅偏转引起的表面特征连续几何透视变形。以往前馈模型主要验证了将时间相近的完整视图进行联想绑定,但尚未检验网络是否能从局部表面特征的变形中提取出通用的透视变换规律,进而将该规律外推至未曾呈现的新视角组合。此外,层级网络是否必须完整经历物体的每一种几何变换才能形成不变表征(Wallis & Rolls 1997;Riesenhuber & Poggio 1998),也需要严密的定量实验检验。

研究思路

研究设计将学习过程分阶段隔离:为排除物体轮廓外形突变与立体阴影线索的干扰,实验采用无阴影的球面作为基底刺激。球体在旋转时外轮廓几何保持恒定,网络所需处理的变异仅来源于球面标记(surface marking)随深度旋转产生的透视几何变形。训练分为两阶段:低层网络首先在全部五个深度旋转视角(-60° 至 60°)下学习简单特征“对”(pairs),建立单个局部特征经历透视变形的表征;随后高层网络在特征“三元组”(triples)构成的复合刺激上训练,但仅呈现其中四个视角,保留第五个视角作为泛化测试。若高层的不变性表征继承自低层对局部形变规律的提取,则面对由已知局部特征组合而成的新复合刺激时,高层网络应能自发泛化到未见视角,从而明确检验不变性是否必须依赖对完整物体的全视角经历。

方法

模拟使用 VisNet 的最新版本 VisNet2,参数沿用 Rolls 与 Milward(2000):一个四层前馈网络,对应灵长类腹侧视觉通路(ventral stream)的 V2、V4、后下颞叶皮层(TEO)与下颞叶皮层(TE),各层通过拓扑对应区汇聚连接使感受野逐层扩大(图 1 中标注的感受野从第 1 层约 1.3 度扩大到第 4 层约 50 度)。学习采用带迹踪的 Hebb 规则,迹踪参数 η 设为 0.8,学习率在 1 到 0 之间退火。刺激方面:特征为竖、斜、横三种弧线,可放在球面上相隔 15 度弧的三个位置 A、B、C;两特征刺激共 18 个(如 102 表示 A、C 位有特征、B 位为空),三特征刺激共 6 个(123、132、213、231、312、321)。图像按 128×128 像素投影,先经一组按 V1 简单细胞调谐特性设计的输入滤波器预处理,再送入网络的 128×128 视网膜。每个刺激按随机顺序出现在 -60°、-30°、0°、30°、60° 五个深度旋转视角上,每层依次训练(第 1 到 4 层的训练轮数分别为 50、100、100、75)。评估采用两种信息量指标:单细胞信息量(single cell information,衡量单个第 4 层细胞对“是哪个刺激”的视角无关信息,理论上限为 log2(6)≈2.6 比特)与多细胞信息量(multiple cell information,对每个刺激选出信息值最高的 5 个细胞,衡量一组细胞的总体判别力;计算方法出自 Rolls, Treves & Tovee, 1997 与 Rolls & Milward, 2000)。

主要结果

  1. 两阶段训练后网络对未见过的第五个视角达到完美判别。实验 1 中第 1、2 层仅用 18 个特征对在全部五个视角训练,第 3、4 层仅用 6 个三元组在四个视角(-60° 到 30°)训练,测试则覆盖全部五个视角:若干第 4 层细胞的单细胞信息量达到 2.6 比特的理论上限,多细胞信息量也达到满值 2.6 比特,表明全网络对六个三元组在任意视角都能完全区分(图 4)。
  2. 单个顶层细胞表现出真正的视角不变响应。图 5 展示的一个顶层神经元对三元组 132 在全部五个朝向下都给出最大响应,对其他五个三元组响应均较低,响应曲线不随朝向变化;而该细胞在训练时仅见过其中四个朝向。
  3. 不变性并非记录特定视角的模板,而是习得了“变形规律”本身。对照实验中,若先用不含变形的刺激训练(将 0° 视角的特征平移到旋转后位置,不作透视变形),再用真实 3D 变形图像测试,网络的单细胞与多细胞信息量均明显下降,多数第 4 层神经元无法对旋转三元组的全部五个实例保持响应。这表明实验 1 获得的不变性特异于表面特征在深度旋转中经历的真实形变。
  4. 泛化的来源定位于低层。要获得对新视角的不变性,并不需要对完整物体进行全视角训练:只要低层训练好特征对的不变性,三元组仅需少量呈现即可建立中高层权重;不变性来自对特征对的不变性学习,而非来自对三元组本身的遍历。

图注解读

图 1 · VisNet 四层架构与视觉通路的对应

原文图注:Figure 1: (Left) Stylized image of the VisNet four-layer network. Convergence through the network is designed to provide fourth-layer neurons with information from across the entire input retina. (Right) Convergence in the visual system (adapted from Rolls, 1992). V1: visual cortex area V1; TEO: posterior inferior temporal cortex; TE: inferior temporal cortex (IT).

图示为 VisNet2 的网络架构及与生物视觉通路的对应关系。左侧为四层前馈竞争网络结构,感受野通过逐层拓扑汇聚从第 1 层的约 1.3° 扩大至第 4 层的约 50°,覆盖全视网膜视野;右侧对应灵长类腹侧通路(V1-V2-V4-TEO-TE)。层级结构依次承担局部特征提取、特征构型整合及视网膜位置/视角不变表征形成的计算功能。

Figure 1

图 2 · 球面刺激的特征与位置编码

原文图注:Figure 2: Details of the 3-dimensional visual stimuli used in the rotation invariance experiments of section 3. Each stimulus is a sphere that is identified by its unique combination of two or three surface features. There are three possible types of features that take the form of (1) a vertical arc, (2) a diagonal arc, and (3) a horizontal arc and lie on the surfaces of the spheres (a blank space is denoted by 0). These three features can be placed in any of three relative positions A, B, and C, which are themselves separated by 15 degrees of arc.

图示展示三维刺激的特征与空间位置编码方案。三种基础表面特征分别为竖弧(1)、斜弧(2)与横弧(3),空位标记为 0;特征可置于球面上沿弧度相隔 15° 的 A、B、C 三个相对位置,组合构成三位数字标识。实验由此构建出 18 个双特征刺激(pairs,如 102 表示 A 位竖弧、B 位空、C 位斜弧)与 6 个三特征刺激(triples,如 123、132 等)。每个特征的端点距球心约 10°。

Figure 2

图 3 · 六个三元组刺激在五个旋转视角下的样子

原文图注:Figure 3: Representations of the six visual stimuli with three surface features (triples) presented to VisNet during the simulations. Each stimulus is a sphere that is identified by a unique combination of three surface features (a vertical, diagonal, and horizontal arc) that occur in three relative positions A, B, and C. Each row shows one of the stimuli rotated through the five different rotational views in which the stimulus is presented to VisNet. From left to right, the rotational views shown are −60 degrees, −30 degrees, 0 degree (central position), 30 degrees, and 60 degrees.

图中每一行对应一个三特征复合刺激(6 种三元组之一),各列依次呈现其在 -60°、-30°、0°、30° 与 60° 五个深度旋转视角下的二维投影。由于球面几何投影,旋转导致表面弧线出现连续的拉伸、倾斜与曲率透视变化,而球体外轮廓保持恒定,从而严格隔离了连续度量透视变换这一变量。在对照实验中,模型以此类真实三维投影与仅有二维刚性位移的刺激进行对比。

Figure 3

图 4 · 实验 1 与实验 2 的信息量对比

原文图注:Figure 4: Numerical results for experiments 1 and 2: (Left) Single cell information measures. (Right) Multiple cell information measures. There were six stimuli each shown in five rotational views (6s 5r). In experiment 1, the first two layers were trained on feature pairs in all transforms, and layers 3 and 4 were trained on the six triple stimuli in four of the five transforms. For comparison, experiment 2 shows the performance with no training.

左图展示按信息量排序的第 4 层神经元单细胞信息量,右图展示群体多细胞信息量(6s 5r 表示 6 种刺激各在 5 个旋转视角下呈现)。在实验 1 中,第 1、2 层在全部视角下训练特征对,第 3、4 层仅在四个视角下训练三元组;测试涵盖全部五个视角。结果显示若干单个神经元的信息量达到理论上限 log2(6)≈2.6 比特,群体多细胞信息量也达到 2.6 比特,实现了跨视角的完全区分。实验 2 为未经训练的随机权重对照,信息量显著偏低。对比表明局部特征的形变训练支持了高层对未见视角的泛化。

Figure 4

图 5 · 一个顶层神经元的响应谱

原文图注:Figure 5: Numerical results for experiment 1: Response profiles of a top-layer neuron to the 6 triples in all 5 orientations.

图示为单个第 4 层神经元对 6 个三元组刺激在全部 5 个朝向(-60° 至 60°)下的响应曲线。该细胞对三元组 132 在所有五个朝向下均保持高水平且恒定的放电率,对其他五种刺激的响应均接近于零;尽管训练期间网络从未见过三元组 132 在第五个视角下的输入,该细胞仍展现出对该新视角的完全不变性。曲线同时体现了跨朝向的平直响应(视角独立性)与强烈的刺激选择性。

Figure 5

讨论

作者将模拟发现归结为两项核心结论:第一,基于时间连续性的迹踪学习规则能够在层级网络中自组织形成对通用视图内连续透视变形不变的表征。在排除轮廓突变的前提下,表面几何特征的变形轨迹可作为通用知识被低层网络提取。第二,系统无需经历完整物体的全部可能变换即可建立不变识别;当低层网络通过特征对充分学习局部形变规律后,高层仅需借助少量视图建立联想权重,即可实现对新物体未知视角的有效泛化。相较于 Edelman(1999)基于全物体视图线性插值的模型(该方法通常要求新物体与已有模板高度相似),VisNet 基于层级局部特征的重组机制对物体形状变化的容忍度更广,且更契合腹侧视觉通路的解剖层级特性。文章也存在局限:模拟未系统测试参数 η 对收敛稳定性的影响,未结合生物眼动与运动速度对时间常数的合理范围进行推演。

一句话总结

该工作通过球体刺激与分阶段层级训练表明,视觉系统的不变性表征可以解耦:低层网络利用时间迹踪规则提取局部特征随三维旋转变形的透视规律,高层网络通过特征重组将该规律迁移至仅见过部分视角的新物体,为灵长类腹侧通路对未见视角的泛化能力提供了计算解释。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。