该研究对灵长类腹侧视觉通路不变物体识别的两种代表性计算方案展开系统对比:一为基于局部时间痕迹学习规则的 VisNet 模型(Rolls 体系),二为基于 S-C 交替层级池化的 HMAX 模型(Poggio 体系)。作者设计了四项计算实验,对照下颞叶(IT)皮层神经元的五项关键生理学特性(变换不变性、稀疏分布式且具单细胞信息的表征、整体构型敏感性、个体身份编码及局部突触学习规则)。结果显示,VisNet 在上述神经生理指标上高度契合 IT 神经元特性;而 HMAX 输出层神经元呈现高发放与低稀疏度,缺乏单细胞信息,其分类性能主要依赖末端外接的支持向量机(SVM),自身缺乏在层级内自组织形成视角不变性的学习机制。
研究背景
不变物体识别要求视觉系统把同一物体在不同位置、尺寸、对比度和视角下的图像联系起来。这样的表征不仅有利于识别,也使下游区域只需一次学习,就能把物体与奖励、位置或熟悉性关联,并推广到其他外观。计算模型可以检验这一能力如何产生,但仅比较分类准确率并不足够:一个模型可能依靠强大的外部分类器取得高分,其内部神经元却不像 IT,既不稀疏,也不含个体身份信息,甚至缺少可生物实现的学习规则。
Robinson 因而把模型评价拆成五项神经性质:对变换保持选择性的能力;稀疏分布式且单细胞有信息的表征;对整体构型而非残留纹理的敏感性;编码个体物体或面孔身份,而不只区分类别;以及使用局部突触学习规则。VisNet 与 HMAX 都以 V1 滤波和层级加工为起点,却代表不同机制:VisNet 通过竞争和痕迹学习在网络内部形成不变性,HMAX 主要依赖模板匹配、MAX 池化和末端 SVM。若只比较最终分类,无法判断不变性是在层级中学出的,还是由读出器补出来的。
本文用四类数据检验两模型:随机同类照片考察分类与稀疏性,系统转台视角考察跨视角学习,打乱面孔部件考察构型编码,图像统计随视角剧变的杯子考察同一物体关联。结果支持 VisNet 在这些指标上更接近 IT,而 HMAX 的不变性高度依赖外部分类器。该比较针对特定实现、数据和生物合理性标准,并非对所有 HMAX 变体或深度网络的普遍否定;VisNet 的成功也限于给定时间连续性和训练安排。文章的核心方法贡献,是把“模型成绩”与“模型神经元是否像脑”分开评价。
研究思路
作者的逻辑是"以性质为纲、以实验为考题":不比谁在基准数据集上分数高,而是问每个模型的神经元输出是否像真正的 IT 神经元——是否对同一物体的全部变换保持相似放电、是否稀疏、是否编码整物体构型与个体身份、能否被生物学上合理的读出机制(如模式联想网络 pattern association network 的点积解码)读取。四个实验层层递进:先用 Caltech-256 这类"随机同类别范例"基准检验分类与表征稀疏性;再换 ALOI 这类"同一物体系统性变换视角"的数据集检验视角不变学习;然后用打乱面孔部件检验是否真的编码形状构型;最后用"视角变换时图像发生灾变式改变"的杯子检验模型能否跨越最难的变换。
选择 VisNet 与 HMAX 作对照组有其设计意图:两者都以 Gabor 滤波近似 V1 输入、都声称"生物学启发",但机制迥异——VisNet 用竞争学习加痕迹学习规则(trace learning rule)在层级内部自组织出不变表征,而 HMAX 的 S 层做模板匹配、C 层做 MAX 池化,不变性全靠层级末端的强力分类器补足。这个对比因此不是"谁分数高",而是"不变性到底长在层级里还是长在解码器里"。
方法
VisNet 为四层层级竞争网络(每层 128×128,共 65,536 个神经元;第 1–4 层分别对应 V2、V4、后部 IT/TEO、前部 IT/TE),输入为 16 种 Gabor 滤波器组(空间频率 0.0625–0.5 周/像素、四个朝向、正负相位),前传连接按高斯概率局部收敛使感受野逐层扩大(第 1 层 100 个连接,第 2–4 层各 400 个)。每层内做横向抑制与 sigmoid 对比增强,用阈值把群体稀疏性控制在设定值;学习采用改进的 Hebb 型痕迹规则 δw = α·y(τ−1)·x(τ)——即用前一时刻活动的衰减痕迹与当前输入结合,其生物学基础被归于刺激呈现后持续 100–400 ms 的持续放电、NMDA 受体约 100 ms 的谷氨酸结合窗口及一氧化氮等弥散信号;痕迹参数 η 第 2 层 0.6、第 3/4 层 0.8,学习率 α 为 0.05/0.03/0.005/0.005,训练 50 个 epoch。与旧版相比,本文的 VisNet 用了 Gabor 输入、更大的网络规模,并引入模式联想解码(每类一个输出神经元、每类取 10 个最选择性输入神经元、Hebb 规则训练一次)作为生物学上合理的读出方式,配合与 IT 电生理完全同款的香农信息量指标(单细胞刺激特异性信息 I(s,R) 与多细胞互信息)。
HMAX 采用 Mutch & Lowe (2008) 的实现(两层 S-C;补充材料用 Serre et al. 2007a 的三层版本复核,结论一致),其 S 单元把突触权重设为随机抽取的训练图像小块(模板匹配)、C 单元对同类 S 单元取 MAX,且滤波器在层内横向复制;标准做法是在 C2 层输出上接支持向量机(SVM)。为模拟 Serre 等人声称对应后部 IT 的视调单元(view-tuned unit, VTU)层,作者按 Riesenhuber & Poggio (1999) 的方式为每个训练视角/范例设立一个 VTU,再经一层最小二乘感知机分类。作者特别提醒:HMAX 家族约有一千万个计算单元,至少是 VisNet(65,536)的一百倍,这一点在解读性能对比时需要记住。
主要结果
-
实验 1(Caltech-256 分类):分数相当,表征天差地别(图 3–5)。对帽子 vs 啤酒杯两类做 SVM 分类,VisNet 与 HMAX C2 成绩相似且都不高(两类内图像差异太大,交叉验证困难)。但表征层面分道扬镳:VisNet 输出神经元稀疏——一个神经元对 10 个未训练帽子范例中的 8 个高放电、对啤酒杯只响应 1 个(单细胞信息 0.38 bit,五细胞均值 0.28 bit);HMAX 的 C2 神经元对两个类的几乎每张图都同样高放电(归一化均值 0.905 vs 0.900,五细胞均值信息仅 0.07 bit),VTU 层同样不理想(均值 0.10 bit)。换用生物学合理的模式联想解码后,两者只有 61.7%–63% 的成绩(随机水平 50%),且 HMAX 的"成绩"主要靠外部强分类器挣来。作者由此得出方法论结论:Caltech 型随机范例数据集根本不提供学习视角不变性所需的信息。
-
实验 2(ALOI 视角不变学习):VisNet 学得会,HMAX 学不会(图 6–10)。8 个物体、每个 72 张每 5° 一张的转台图像;训练集为每物体 4 个视角(间隔 90°)、9 个(40°)或 18 个(20°),测试集为与之错开 10° 的 18 个视角(随机水平 12.5%)。VisNet 只要有少量训练视角就大幅越过随机(未训练网络仅 18%,训练 9 个视角后 73%),且在离最近训练视角 20° 的中间视角上也能保持约 72–77% 的成绩;最佳单神经元对物体 4(灯泡)的全部 9 个训练视角都响应、对其他物体全不响应,单细胞信息达 3 bit(五细胞均值 2.2 bit)。HMAX 的 C2 单元即便对每类最"挑"的那个单元也只对单一视角有反应(0.68 bit,均值 0.28 bit);只有换上强 SVM 才能把成绩拉到 78%/93%/92%(4/9/18 个训练视角)。相似度矩阵(图 10)更直观:VisNet 的输出在同一物体的各视角间高度相似、在不同物体间接近 0;HMAX C2 的所有输出之间相关性最低也有 0.975——同一物体的不同视角与其他物体一样"远"。
-
实验 3(打乱面孔部件):VisNet 编码的是构型,HMAX 靠纹理(图 11、12)。用 8 张 ORL 面孔、每张 5 个视角训练,再把每张面孔的四个象限随机重排。VisNet 训练集 100% 正确,但测试打乱面孔时降到随机水平(12.5%,多细胞信息 0.0 bit),示例神经元的放电率直接归零——与 IT 神经元对构型破坏的敏感性一致。HMAX 的视调神经元对打乱版维持与原图同样高的放电,说明其判别依据是残存的低层特征与纹理而非形状;作者解释这 Riesenhuber & Poggio (1999) 当年用回形针类简化图形报告的打乱效应下降并不矛盾,因为对自然图像打乱恰恰保留了纹理信息。
-
实验 4(灾变性视角变换):连续性假设的加分题(图 13、14)。两只 Blender 渲染的杯子(各 4 个视角),有的视角能看到杯座上的文字、有的看不到——图像统计性质在变换中剧变。VisNet 训练 10 个 epoch 后 100% 正确,第 4 层出现对"Bill"全部视角响应、对"Jane"全不响应(或反之)的神经元;HMAX 的 C2 与 VTU 层成绩都是 50%(即随机)、0.0 bit,其神经元放电由"图中有没有文字"主导。这说明 HMAX 的 S-C 层级没有学习"哪些图像属于同一物体"的机制,输出反映的是单张图像的统计特性。
图注解读
图 1 · 会聚架构:从脑到 VisNet
原文图注:Fig. 1 Convergence in the visual system. Right as it occurs in the brain. V1, visual cortex area V1; TEO, posterior inferior temporal cortex; TE, inferior temporal cortex (IT). Left as implemented in VisNet. Convergence through the network is designed to provide fourth layer neurons with information from across the entire input retina
图示左右并列展示结构对应关系:右侧为真实大脑腹侧通路各层级(V1、V2、V4、TEO、TE)感受野随离心度增大的实测尺度(约 1.3° 至 50°),左侧为 VisNet 四层架构的设计映射——通过前馈投射逐层汇聚,使第 4 层神经元能够整合整个输入视网膜区域的信息。该图为全文提供了神经解剖学坐标系,展示了模型映射腹侧通路的拓扑汇聚基础。

图 2 · HMAX 的 S-C 层级示意
原文图注:Fig. 2 Sketch of Riesenhuber and Poggio (1999) HMAX model of invariant object recognition. The model includes layers of 'S' cells, which perform template matching (solid lines), and 'C' cells (solid lines), which pool information by a non-linear MAX function to achieve invariance (see text) (After Riesenhuber and Poggio 1999.)
该图为 HMAX 模型原理图:S 细胞层执行模板匹配(突触权重固定为随机选取的训练图像小块),C 细胞层采用非线性 MAX 函数对输入进行最大值池化以获得局部不变性,各层交替堆叠,末端通常外接线性分类器或 SVM。该架构特点(模板匹配、权重横向复制及依赖强分类器读出)是后续神经表征分析的对照基础。

图 3 · Caltech-256 例图
原文图注:Fig. 3 Example images from the Caltech256 database for two object classes, hats and beer mugs
该图展示 Caltech-256 数据集中帽子与啤酒杯两类物体的部分图像范例。同一类别内部在姿态、光照、尺度及遮挡条件上存在显著异质性。该类数据集缺乏单物体连续空间变换的时序统计特性,为实验 1 检验随机范例分类提供了测试材料。

图 4 · 实验一分类成绩柱状图
原文图注:Fig. 4 Performance of HMAX and VisNet on the classification task (measured by the proportion of images classified correctly) using the Caltech-256 dataset and linear support vector machine (SVM) classification. The error bars show the standard deviation of the means over three cross-validation trials with different images chosen at random for the training set on each trial. There were two object classes, hats and beer mugs, with the number of training exemplars shown on the abscissa. There were 30 test examples of each object class. All cells in the C2 layer of HMAX and layer 4 of Visnet were used to measure the performance. Chance performance at 50% is indicated
横轴为每类训练范例数(5、15、30),纵轴为线性 SVM 分类正确率,误差线为三次交叉验证的标准差,水平虚线标出 50% 随机水平。VisNet 与 HMAX C2 的分类曲线交织重叠,表现均未显著突出。该结果表明,在传统基准数据集的宏观分类准确率上,两模型未表现出显著差异,真正的分异体现在内部神经表征层面。

图 5 · 单神经元放电率的三方对照
原文图注:Fig. 5 Top firing rate of two output layer neurons of VisNet, when tested on two of the classes, hats and beer mugs, from the Caltech 256. The firing rates to 10 untrained (i.e. testing) exemplars of each of the two classes are shown. One of the neurons responded more to hats than to beer mugs (solid line). The other neuron responded more to beer mugs than to hats (dashed line). Middle firing rate of two C2 tuned units of HMAX when tested on two of the classes, beer mugs and hats, from the Caltech 256. Bottom firing rate of a view-tuned unit of HMAX when tested on two of the classes, hats (solid line) and beer mugs (dashed line), from the Caltech 256. The neurons chosen were those with the highest single cell information that could be decoded from the responses of a neuron to 10 exemplars of each of the two objects (as well as a high firing rate) in the cross-validation design
三栏折线图展示对 10 个未训练测试范例响应的单神经元归一化放电率(均选取两类别间单细胞信息量最高的单元):上栏 VisNet 输出层神经元在帽子与啤酒杯之间呈现清晰的选择性分离;中栏 HMAX C2 单元对两类物体绝大多数范例均维持无差别的极高放电;下栏 HMAX 视调单元(VTU)同样缺乏明确区分。该图可视化呈现了 HMAX 输出层表征缺乏稀疏性与单细胞刺激特异性信息的缺陷,支撑主要结果第 1 条。

图 6 · ALOI 例图
原文图注:Fig. 6 Example images from the two object classes within the ALOI database, a 293 (light bulb) and b 156 (clock). Only the 45◦increments are shown
该图展示 ALOI 数据库中灯泡与时钟两个物体在系统转台旋转下的图像序列(以 45° 为步长展示)。与图 3 的随机类别范例不同,ALOI 提供了单一物体在连续视角变换下的渐进图像序列,为实验 2 检验痕迹规则学习视角不变表征提供了时间连续性输入。

图 7 · 实验二分类成绩曲线
原文图注:Fig. 7 Performance of VisNet and HMAX C2 units measured by the percentage of images classified correctly on the classification task with 8 objects using the Amsterdam Library of Images dataset and measurement of performance using a pattern association network with one output neuron for each class. The training set consisted of 4 views of each object spaced 90◦apart; or 9 views spaced 40◦apart; or 18 views spaced 20◦apart. The test set of images was in all cases a cross-validation set of 18 views of each object spaced 20◦apart and offset by 10◦from the training set with 18 views and not including any training view. The 10 best cells from each class were used to measure the performance. Chance performance was 12.5% correct
横轴为每类训练视角数(0–19),纵轴为 8 类别分类正确率(随机水平 12.5%),两模型输出均由生物学合理的模式联想网络(单层 Hebb 规则点积解码)读取。VisNet 在极少训练视角下即可显著超越随机水平并稳定在约 70–77%,而 HMAX C2 表现持续维持在随机水平附近。该图为主要结果第 2 条提供了性能层面的依据。

图 8 · 训练集上的单神经元响应
原文图注:Fig. 8 Top firing rate of one output layer neuron of VisNet, when trained on 8 objects from the Amsterdam Library of Images, with 9 views of each object spaced 40◦apart. The firing rates on the training set are shown. The neuron responded to all 9 views of object 4 (a light bulb) and to no views of any other object. The neuron illustrated was chosen to have the highest single cell stimulus-specific information about object 4 that could be decoded from the responses of the neurons to all 72 exemplars shown, as well as a high firing rate to object 4. Middle firing rate of one C2 unit of HMAX when trained on the same set of images. The unit illustrated was that the highest mean firing rate across views to object 4 relative to the firing rates across all stimuli and views. Bottom firing rate of one view-tuned unit (VTU) of HMAX when trained on the same set of images. The unit illustrated was that the highest firing rate to one view of object 4
三栏图表展示训练集上各模型单细胞刺激特异性信息量最高的单元放电率(横轴包含 8 个物体各 9 个训练视角):上栏 VisNet 神经元对目标物体(灯泡)全部 9 个视角呈现一致的高放电,对其他 7 个物体完全不放电(单细胞信息量达 3.0 bits);中栏 HMAX C2 单元仅对单一视角呈现微弱偏好;下栏 VTU 单元同样仅调谐于单一训练视角。该图直观反映了视角不变表征在网络内部自组织形成与外部分类器强行拟合的本质差异。

图 9 · 测试集上的泛化
原文图注:Fig. 9 Top firing rate during cross-validation testing of one output layer neuron of VisNet, when trained on 8 objects from the Amsterdam Library of Images, with 9 exemplars of each object with views spaced 40◦apart. The firing rates on the cross-validation testing set are shown. The neuron was selected to respond to all views of object 4 of the training set, and as shown responded to 7 views of object 4 in the test set each of which was 20◦from the nearest training view and to no views of any other object. Middle firing rate of one C2 unit of HMAX when tested on the same set of images. The neuron illustrated was that the highest mean firing rate across training views to object 4 relative to the firing rates across all stimuli and views. The test images were 20◦away from the test images. Bottom firing rate of one view-tuned unit (VTU) of HMAX when tested on the same set of images. The neuron illustrated was that the highest firing rate to one view of object 4 during training. It can be seen that the neuron responded with a rate of 0.8 to the two training images (1 and 9) of object 4 that were 20◦away from the image for which the VTU had been selected
图示布局与图 8 对应,但测试数据来自未参与训练、与最近训练视角错开 20° 的跨视角测试集:VisNet 神经元对目标物体的 9 个测试视角中的 7 个保持显著放电,对其他物体放电为零,表现出稳定的跨视角泛化能力;HMAX C2 与 VTU 单元则对未训练的中间视角缺乏泛化响应。该结果证实 VisNet 学到的是真正的视角不变表征而非孤立视角记忆,支撑主要结果第 2 条。

图 10 · 相似度矩阵:表征几何的终审
原文图注:Fig. 10 Similarity between the outputs of the networks between the 9 different views of 8 objects produced by VisNet (top), HMAX C2 (middle), and HMAX VTUs (bottom) for the Amsterdam Library of Images test. Each panel shows a similarity matrix (based on the cosine of the angle between the vectors of firing rates produced by each object) between the 8 stimuli for all output neurons of each type. The maximum similarity is 1, and the minimal similarity is 0
该图包含三张基于输出神经元放电率向量夹角余弦的 72×72 相似度矩阵(8 物体各 9 视角):VisNet 呈现明确的块对角结构,同一物体的不同视角间高度相似,跨物体相似度接近于零;HMAX C2 矩阵整体呈现极高相关性(最低相关系数达 0.975),无法形成物体特异性表征;VTU 表现介于其间,但类内与类间界限模糊。该结果直接证实了 HMAX 必须依赖外部强力分类器进行区分,支撑主要结果第 2 条。

图 11 · 打乱面孔刺激
原文图注:Fig. 11 Examples of images used in the scrambled faces experiment. Top two of the 8 faces in 2 of the 5 views of each. Bottom examples of the scrambled versions of the faces
上排展示 8 张 ORL 面孔中两张面孔的不同视角示例,下排展示将面孔四个象限空间位置打乱后的重组图像。该设计在保持低层局部特征、空间频率与纹理统计不变的前提下破坏了整体空间构型,用于实验 3 检验神经元对物体构型的敏感性。

图 12 · 打乱前后的神经元响应对照
原文图注:Fig. 12 Top effect of scrambling on the responses of a neuron in VisNet. This VisNet layer 4 neuron responded to one of the faces after training and to none of the other 7 faces. The neuron responded to all the different view exemplars 1–5 of the unscrambled face (exemplar normal). When the same neuron was then tested with the randomly scrambled versions of the same face stimuli (exemplar scrambled), the firing rate was zero. Bottom effect of scrambling on the responses of a neuron in HMAX. This view-tuned neuron of HMAX was chosen to be as discriminating between the 8 face identities as possible. The neuron responded to all the different view exemplars 1–5 of the unscrambled face. When the same neuron was then tested with the randomly scrambled versions of the same face stimuli, the neuron responded with similarly high rates to the scrambled stimuli
两栏折线图分别对比正常面孔与打乱面孔呈现时的单神经元放电率:上栏 VisNet 输出层神经元在面对打乱图像时放电完全归零,表现出对整体空间构型破坏的高度敏感;下栏 HMAX 视调单元对打乱图像维持了与正常图像同等水平的高放电。这一相反效应表明 VisNet 编码的是依赖空间构型的整体形状,而 HMAX 依赖于低层局部纹理与特征匹配,支撑主要结果第 3 条。

图 13 · 两只杯子的四个视角
原文图注:Fig. 13 View-invariant representations of cups. The two objects, each with four views
该图展示实验 4 中两只杯子各 4 个视角的渲染图。随视角转动,部分视角可见杯座上的文字标识,部分视角则无法观测到文字,导致图像统计特征在跨视角转动中发生显著突变。该设计用于检验模型能否仅凭时间连续性建立跨越图像统计断裂的同一物体绑定。

图 14 · 杯子任务的单神经元终局对比
原文图注:Fig. 14 Top view-invariant representations of cups. Single cells in the output representation of VisNet. The two neurons illustrated responded either to all views of one cup (labelled 'Bill') and to no views of the other cup (labelled 'Jane'), or vice versa. Middle single cells in the C2 representation of HMAX. Bottom single cells in the view-tuned unit output representation of HMAX
三栏折线图展示两只杯子在 4 个视角下的单神经元响应:上栏 VisNet 成功自组织出对特定杯子全部视角响应而对另一杯子无响应的神经元;中下栏 HMAX 的 C2 与 VTU 单元放电受制于是否存在文字特征,未能形成物体身份的选择性表征。配合群体 50% 随机识别率与 0.0 bit 互信息,该图支撑主要结果第 4 条。

讨论
作者在讨论中按开篇列出的五项 IT 性质逐条结算:变换不变性、稀疏分布式编码、构型敏感的整物体响应、个体身份编码与局部学习规则,VisNet 全部达标,而 HMAX 在每一条上都需要外挂——要么靠 SVM 学习分类,要么靠每个训练视角一个 VTU 再加一层最小二乘感知机,这些操作(非局部权重复制、有教师的最小二乘学习)在新皮层中都没有对应物。作者由此把批判的矛头温和地指向更广的模型家族:卷积网络的权重共享同样非局部;以表征相似性结构(Khaligh-Razavi and Kriegeskorte 2014;Cadieu et al. 2014)评价模型的做法,回避了"IT 神经元编码个体身份"这一根本维度,且其成绩往往得益于监督训练。
VisNet 路线的理论内核是把时空连续性当作免费教师:灵长类注视一个物体的短时间内,该物体以平移、缩放、旋转、视角变化的形式连续呈现,痕迹学习规则据此把"时间上相继出现的图像"绑定为同一物体的不同变换。作者援引了闭合这一推理的实验链条——把 3D 物体放进猕猴生活环境、无奖赏条件下即可产生视角不变神经元(Booth and Rolls 1998),时间连续性假说亦被 Li & DiCarlo (2008, 2010, 2012) 与人类心理物理学(Perry et al. 2006;Wallis 2013)证实。局限方面文中承认:模型刻意做了简化(如 V1 输入不经训练、尺度固定),且比较对象 HMAX 家族参数由原作者代码定夺、单元数远多于 VisNet,这些都会影响定量结论的力度。
一句话总结
该研究表明,生物学合理的不变物体识别模型不仅需要在宏观任务上实现分类,其内部神经表征还必须满足下颞叶皮层的一系列生理学约束:不变表征内生于层级网络、具备单细胞信息量与高稀疏度、对空间构型敏感,并依托局部突触可塑性规则自组织建立。VisNet 通过时间连续性与局部痕迹学习较好满足了这些生物学标准,而 HMAX 缺乏自适应不变性学习机制,其性能高度依赖外部监督读出器。这一比较凸显了将计算模型性能指标与生物学内部机制分离评估的必要性。