IT / 文献库

PAPER 281 / CLOSE READING

Deep neural networks rival the representation of primate IT cortex for core visual object recognition

语义审核:pass · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 任务图像示例
    2. 图 2 · 六个模型表征的核分析曲线
    3. 图 3 · 样本与噪声匹配后的神经—模型对比
    4. 图 4 · 性能随采样数变化的面积指标
    5. 图 5 · 线性 SVM 泛化性能的复验
    6. 图 6 · 模型与 V4 对 IT 反应的编码预测
    7. 图 7 · 物体级表征相似性分析
  6. 讨论
  7. 一句话总结

本研究在恒河猴被动注视 1960 张高变异合成图像完成七类物体分类任务的同时,采集了视皮层 V4 区与下颞叶皮层(IT)的多通道神经群体电生理信号。通过引入校正采样规模与生理噪声的“核分析”(kernel analysis)方法,研究在统一尺度下对比了卷积深度神经网络(DNN)与灵长类 IT 皮层的表征性能。结果显示,Zeiler & Fergus (2013) 的卷积网络在模式解码性能上达到了灵长类 IT 多单元表征水平,而浅层 V1/V2 启发模型与传统 HMAX 架构则显著落后。这是早期在行为解码性能、表征相似性矩阵(RSA)以及神经反应编码预测三个维度系统评估深度网络与灵长类腹侧视觉流对应关系的定量比较研究。

研究背景

灵长类视觉系统能够在单次注视(约 200–250 ms)时间内完成快速而准确的客体类别判定。作者将其操作化定义为“核心视觉客体识别”(core visual object recognition):在 100 ms 的短暂注视呈现条件下,无眼跳重构、无上下文语境线索依赖,对物体所属类别做出分类,即使客体在三维实例、空间位置、尺度缩放、视点朝向以及自然背景上存在高度变异。神经生物学研究证实,下颞叶(IT)皮层是实现这一能力的关键载体:它将视网膜上高维缠绕的非线性像素输入转化为“类内差异压缩、类间差异解耦”的神经表征空间,使得下游简单的线性分类器即可直接读出类别信息。与此同时,计算机视觉领域涌现出以 ImageNet 竞赛为代表的深层卷积神经网络(如 Krizhevsky 等 2012、Zeiler & Fergus 2013),其计算架构虽在概念上源于 Hubel–Wiesel 的简单/复杂细胞层级学说,但层级更深(7–9 层),并通过海量标注图像实施端到端监督训练。

在将深度网络与生物大脑表征进行对齐时,先前研究存在若干方法学局限:首先,未对实验记录位点数量、试次间神经噪声以及模型特征维度进行严格归一化;其次,表征相似性分析(RSA)多评估无监督的几何拓扑关系,较少定量测量严格任务约束下的绝对泛化识别性能;此外,既往实验采用的刺激图片集规模较小(多在 100 张以内),变异跨度不足以区分不同层级模型的性能边界。构建统一而标准化的定量基准,构成本文的核心目标。

研究思路

作者的技术路线包含三个主要环节:第一步,构建高难度的视觉刺激集:利用 POV-Ray 软件依据三维模型渲染合成 1960 张图像(涵盖 7 个物体类别,每类包含 7 个独立三维模型实例,每个实例在随机自然背景上合成 40 张图像),刺激在两个八度的尺度、全视场平移以及全空间旋转视角上发生独立变异;既往工作证实,在此类高变异挑战下,浅层初级视觉模型因缺乏特征解耦能力而表现趋于随机,确保了评估基准的区分度;第二步,实施严格的神经噪声与采样校正:将人工神经网络特征下采样至与电生理记录位点相匹配的维度(多单元记录对应 80 个样本,单单元记录对应 40 个样本),并基于神经经验数据拟合强度依赖的泊松加性噪声模型,向模型特征中注入同等水平的模拟噪声,以消除由于无噪声计算模型与高噪声生物信号直接比对所导致的系统偏差;第三步,采用多维度并行评估:包括基于核岭回归精度-复杂度曲线的分类解码表现(任务驱动性能)、对 IT 单独位点神经发放率的线性岭回归编码预测(encoding model),以及基于解离度矩阵的无监督物体级表征相似性分析(RSA),三者互为补充以全面评估表征的几何与功能特征。

方法

电生理数据采集自两只成年雄性恒河猴的被动注视任务,每只猴脑内慢性植入三个高密度微电极阵列(BlackRock),两只动物合计记录到 168 个 IT 皮层多单元位点与 128 个 V4 皮层多单元位点。视觉刺激呈现在 LCD 屏幕中央,视视角直径 8°,呈现时间 100 ms,随后跟随 100 ms 灰屏基线;眼动偏离注视点超过 ±2° 的试次予以剔除,每张图像在单只动物上累积采集 47 次重复呈现。神经表征向量构建:统计刺激呈现后 70–170 ms 时间窗内的动作电位发放计数,扣除灰屏自发基线,按全刺激集响应的标准差归一化后取均值,得到“记录位点 × 图像”的神经激活矩阵。单单元信号通过亲和传播聚类算法自多单元数据中分离(IT 获得 160 个、V4 获得 95 个),并在独立的 280 张图像测试集上依据跨试次信噪比挑选一致性最高的 40 个单元用于统计分析。

研究所涵盖的计算模型共 6 类:V1-like(基于多尺度多朝向 Gabor 小波变换,86400 维)、V2-like(Gabor 滤波器输出的非线性组合,24316 维)、HMAX 模型(局部稀疏特征提取架构,4096 维)、HMO 网络(Yamins 等 2014 的四层层级结构优化网络,1250 维)、Krizhevsky 等 (2012) 的 SuperVision(倒数第二层全连接层,4096 维),以及 Zeiler & Fergus (2013) 卷积网络(倒数第二层 4096 维特征,经 10 次图像裁剪平均)。核分析方法:采用高斯核岭回归,模型复杂度定义为正则化参数的倒数 1/λ(在 10^-4 至 10^3 范围内取 56 个对数间隔值),预测精度定义为 1 减去归一化的留一泛化误差(0 为随机基线,1 为完美分类);核宽度参数 σ 在每个正则化梯度下均优化自特征空间中位距离的 0.1–10 倍区间;图像集进行 10 次随机重抽样以计算统计方差。噪声匹配采用方差与均值呈线性相关的模型(多单元拟合参数 a=0.14、b=0.92;单单元拟合参数 a=0.76、b=0.71),向特征向量中叠加等量噪声,重复 10 次。同时并行开展基于线性支持向量机(线性 SVM,80%/20% 交叉验证,10 次重复)的分类性能验证,并利用岭回归编码模型预测单个 IT 位点的放电变异(通过 Spearman–Brown 校正的折半一致性定义理论可解释方差,汇报其中位数)。

主要结果

  1. 高变异识别任务具有区分度,深层卷积网络表现显著优于浅层模型:在核分析构建的精度-复杂度曲线上,V1-like 与 V2-like 模型在整个复杂度参数空间内的预测精度均接近于 0,经典 HMAX 模型仅略高于基线;三类深层卷积神经网络的解码性能大幅领先,排序依次为 Zeiler & Fergus 2013 > Krizhevsky et al. 2012 > HMO(图 2)。

  2. 校正采样规模与生理噪声后,深层卷积网络追平灵长类 IT 多单元解码表现:在特征采样均统一为 80 个样本并叠加匹配生理噪声后,IT 多单元表征表现出较高的分类泛化精度,而在所有候选模型中,仅 Zeiler & Fergus 2013 的精度-复杂度曲线能够与 IT 多单元样本相重合;三类深度神经网络的解码精度均显著高于生物 V4 皮层神经样本;若未施加噪声与采样校正,无噪声模型的原始精度超过 0.5,而校正后下调至 0.35 左右(图 3A、图 4A,当采样数在 10 至 160 范围内变动时该相对关系保持稳定)。

  3. 单单元分析口径下深度特征展现出充裕容量:在 40 个样本/特征的对比中,IT 单单元表征的解码精度高于 HMO 模型,略低于 Krizhevsky et al. 2012,并被 Zeiler & Fergus 2013 全面超越;在整个正则化复杂度区间内,两类 ImageNet 预训练卷积网络均表现出高于 IT 单单元的解码精度(图 3B、图 4B)。线性支持向量机(SVM)的交叉验证表现出一致的相对格局:在约 14.3% 的随机概率水平下,IT 多单元样本的高泛化识别率仅有 Zeiler & Fergus 2013 能够与其匹敌(图 5)。

  4. 神经编码预测与表征几何分析显示模型与生物大脑仍存在显著差距:通过岭回归编码模型预测单个 IT 位点的神经放电反应,HMO、Krizhevsky 及 Zeiler & Fergus 对 IT 多单元反应的中位可解释方差预测率达到与真实 V4 神经群体相近的水平,但没有任何单一模型能够穷尽 IT 皮层的全部可解释方差(Zeiler & Fergus 未能解释的方差超出 40%);此外,V4 神经群体的预测性能与卷积网络预测性能之间的相关性较弱(r=0.48),而深度网络模型之间的预测相关性极高(Krizhevsky 与 Z&F 之间达 r=0.96),表明 V4 生物信号与人工网络特征各自涵盖了 IT 反应方差中相互正交的不同成分(图 6)。基于 49×49 刺激实例的物体级表征不相似度矩阵(RDM)相关性分析显示,浅层模型及 HMAX 与 IT 表征高度不相关,HMO 表现与 V4 相当,而 Krizhevsky 和 Zeiler & Fergus 的相似度介于 V4 与 IT 生物折半噪声天花板之间;只有在对模型特征施加针对 IT 反应的线性回归拟合重构(+IT-fit)后,两类 ImageNet 网络的相似度才进入生物噪声天花板区间(图 7)。

  5. 行为学与物理效率估算:在行为测试中,人类受试者在 100 ms 刺激呈现条件下的识别准确率达到 2000 ms 长时间注视条件的 92%;在绝对分类精度上,人类整体表现(85% 平均准确率)仍高于当时的卷积深度网络(77%);计算时间消耗估算表明,GPU 加速模型的单张前向推理时间已接近灵长类生物反应时,但在能量代谢效率上生物大脑仍高出 2–3 个数量级。

图注解读

图 1 · 任务图像示例

原文图注:Fig. 1. Example images used to measure object category recognition performance. Two of the 1960 tested images are shown from the categories Cars, Fruits, and Animals (we also tested the categories Planes, Chairs, Tables, and Faces). Variability within each category consisted of changes to object exemplar (e.g. 7 different types of Animals), geometric transformations due to position, scale, and rotation/pose, and changes to background (each background image is unique). doi:10.1371/journal.pcbi.1003963.g001

Figure 1

读图说明:该图展示了用于测试核心物体识别的 1960 张高变异合成图像样本,呈现了汽车、水果与动物三类中的代表性样例(实验同时测试了飞机、椅子、桌子与人脸类别)。图像变异包含三维模型实例更换、空间位移变换、尺度缩放、三维姿态偏转以及独立唯一的自然背景贴附。背景与目标在统计上的独立解耦,使得依赖浅层低频轮廓的 V1/V2 类模型难以获得分类信息,为主要结果第 1 条中建立具有区分度的测试基线提供了材料支撑。

图 2 · 六个模型表征的核分析曲线

原文图注:Fig. 2. Kernel analysis curves of model representations. Precision, one minus loss (1{looe(l)), is plotted against complexity, the inverse of the regularization parameter (1=l). Shaded regions indicate the standard deviation of the measurement over image set randomizations, which are often smaller than the line thickness. The Zeiler & Fergus 2013, Krizhevsky et al. 2012 and HMO models are all hierarchical deep neural networks. HMAX [41] is a model of the ventral visual stream and the V1-like [35] and V2-like [42] models attempt to replicate response properties of visual areas V1 and V2, respectively. These analyses indicate that the task we are measuring proves difficult for V1-like and V2-like models, with these models barely moving from 0.0 precision for all levels of complexity. Furthermore, ……(后略:HMAX 仅略好,三个 DNN 大幅领先且 Zeiler & Fergus 2013 全程最佳)

Figure 2

读图说明:横坐标表示分类器复杂度 1/λ(自左向右正则化强度递减,决策边界由强约束线性分类过渡至高度局部插值),纵坐标表示泛化精度(1 减去留一交叉验证误差),阴影带表示图像子集随机化重抽样的标准差。V1-like 与 V2-like 模型曲线全程紧贴 0 基线,表明浅层特征在此类高变异任务中无法支持有效泛化;三类深层卷积网络曲线显著抬升,且在强正则化低复杂度区间依然保持高精度,证实深度网络成功将物体类别特征投射到了相对低维紧凑的表征子空间。该图确立了模型的原始表征梯度,对应主要结果第 1 条。

图 3 · 样本与噪声匹配后的神经—模型对比

原文图注:Fig. 3. Kernel analysis curves of sample and noise matched neural and model representations. Plotting conventions are the same as in Fig. 2. Multi-unit analysis is presented in panel A and single-unit analysis in B. Note that the model representations have been modified such that they are both subsampled and noisy versions of those analyzed in Fig. 2 and this modification is indicated by the { symbol for noise matched to the multi-unit IT cortex sample and by the { symbol for noise matched to the single-unit IT cortex sample. To correct for sampling bias, the multi-unit analysis uses 80 samples, either 80 neural multi-units from V4 or IT cortex, or 80 features from the model representations, and the single-unit analysis uses 40 samples. To correct for experimental and intrinsic neural noi ……(后略:所有模型校正后精度下降;三个 DNN 显著好于 V4;A 中 IT 仅被 Z&F 2013 匹配,B 中 Krizhevsky 与 Z&F 超过 IT)

Figure 3

读图说明:图表展示在统一控制样本维度与噪声水平后的核分析曲线。(A) 为 80 个多单元采样/特征的比对:生物 IT 皮层实测曲线位居顶端,V4 皮层曲线显著偏低,深层网络中仅 Zeiler & Fergus 2013 在各复杂度区间均与 IT 多单元轨迹重合;(B) 为 40 个单单元采样/特征的比对:在单细胞高变异噪声条件下,IT 单单元表征曲线下移,被 Krizhevsky 及 Zeiler & Fergus 卷积网络超越。对比图 2 可见,噪声与采样校正将模型的表面解码精度明显压缩至符合生物神经记录的区间,排除了无校正对比带来的高估偏差。该图对应主要结果第 2、3 条。

图 4 · 性能随采样数变化的面积指标

原文图注:Fig. 4. Effect of sampling the neural and noise-corrected model representations. We measure the area-under-the-curve of the kernel analysis measurement as we change the number of neural sites (for neural representations), or the number of features (for model representations). Measured samples are indicated by filled symbols and measured standard deviations indicated by error bars. Multi-unit analysis is shown in panel A and single-unit analysis in B. The model representations are noise corrected by adding noise that is matched to the IT multi-unit measurements (A, as indicated by the { symbol) or single-unit measurements (B, as indicated by the { symbol). For the multi-unit analysis, the Zeiler & Fergus 2013 representation rivals the IT cortex representation over our measured sample. For t ……(后略:单单元分析中 Krizhevsky 在低特征数追平、高特征数略超 IT,Z&F 全程超 IT)

Figure 4

读图说明:将核分析曲线下的积分面积(KA-AUC)作为全局表征性能指标,绘制其随采样位点数(或模型特征数,范围 10–160)的变化曲线,实心符号代表实测均值,误差棒代表标准差。(A) 多单元分析中,Zeiler & Fergus 2013 在所测采样本范围内始终与 IT 皮层重合,二者均显著领先于 Krizhevsky、HMO 与 V4;(B) 单单元分析中,随着特征数量扩增,深度模型表现逐步反超单神经元表征。该趋势证实了前述比对结论在不同采样尺度下的稳定性,支撑主要结果第 2、3 条。

图 5 · 线性 SVM 泛化性能的复验

原文图注:Fig. 5. Linear-SVM generalization performance of neural and model representations. Testing set classification accuracy averaged over 10 randomly-sampled test sets is plotted and error bars indicate standard deviation over the 10 random samples. Chance performance is ,14.3%. V4 and IT Cortex Multi-Unit Sample are the values measured directly from the neural samples. Following the analysis in Fig. 3A, the model representations have been modified such that they are both subsampled and have noise added that is matched to the observed IT multi-unit noise. We indicate this modification by the { symbol. Both model and neural representations are subsampled to 80 multi-unit samples or 80 features. Mirroring the results using kernel analysis, the IT cortex multi-unit sample achieves high generat ……(后略:IT 多单元样本的高泛化精度仅被 Z&F 2013 匹配)

Figure 5

读图说明:柱状图呈现了利用线性支持向量机(线性 SVM)评估的独立测试集分类准确率(随机概率基准为 14.3%),误差棒表示 10 次随机划分的标准差。模型特征同样经过 80 维下采样与匹配噪声注入。数据排序与核分析高度一致:IT 多单元样本的高泛化识别率仅有 Zeiler & Fergus 2013 能够达到相同水平,证明解码性能的等价性不依赖于特定的非线性核映射算法,支持主要结果第 3 条。

图 6 · 模型与 V4 对 IT 反应的编码预测

原文图注:Fig. 6. Neural and model representation predictions of IT multi-unit responses. A) The median predictions of IT multi-unit responses averaged over 10 train/test splits is plotted for model representations and V4 multi-units. Error bars indicate standard deviation over the 10 train/test splits. Predictions are normalized to correct for trial-to-trial variability of the IT multi-unit recording and calculated as percentage of explained, explainable variance. The HMO, Krizhevsky et al. 2012, and Zeiler & Fergus 2013 representations achieve IT multi-unit predictions that are comparable to the predictions produced by the V4 multi-unit representation. B) The mean predictions over the 10 train/test splits for the V4 cortex multi-unit sample and the Zeiler & Fergus 2013 DNN are plotted against each ……(后略:逐位点比较)

Figure 6

读图说明:(A) 采用岭回归编码模型预测单个 IT 位点对 1960 张图像的发放率,绘制经试次间变异校正后的中位可解释方差百分比(误差棒为标准差)。三类深度卷积网络对 IT 多单元反应的预测能力达到了与实测 V4 群体相当的水平,但没有任何模型能够完全解释全部可解释方差(未解释方差超过 40%);(B) 为针对单个记录位点绘制的 V4 预测与 Zeiler & Fergus 预测散点分布,二者相关系数仅为 r=0.48,而不同卷积模型之间的预测相关性极高(r=0.96)。表明深度网络与上游生物脑区捕捉了 IT 神经反应变异中相互独立的成分,支撑主要结果第 4 条。

图 7 · 物体级表征相似性分析

原文图注:Fig. 7. Object-level representational similarity analysis comparing model and neural representations to the IT multi-unit representation. A) Following the proposed analysis in [32], the object-level dissimilarity matrix for the IT multi-unit representation is compared to the matrices computed from the model representations and from the V4 multi-unit representation. Each bar indicates the similarity between the corresponding representation and the IT multi-unit representation as measured by the Spearman correlation between dissimilarity matrices. Error bars indicate standard deviation over 10 splits. The IT Cortex Split-Half bar indicates the deviation measured by comparing half of the multi-unit sites to the other half, measured over 50 repetitions. The V1-like, V2-like, and HMAX represent ……(后略:HMO 与 V4 相当、两个 ImageNet DNN 介于 V4 与 IT split-half 之间;B 面板展示选代表征的 RDM)

Figure 7

读图说明:(A) 展示各模型与 V4 的 49×49 物体级不相似度矩阵(RDM)同 IT 多单元 RDM 之间的 Spearman 等级相关系数,IT 自身折半重测信度构成测量噪声天花板。V1/V2 类及 HMAX 模型与 IT 呈现低相关;HMO 表现接近 V4;Krizhevsky 及 Zeiler & Fergus 原始特征落于 V4 与天花板之间;经线性空间映射后(+IT-fit),卷积网络表征才落入生物噪声天花板区间;(B) 给出代表性表征在物体类别排序下的 RDM 热图。该数据证实,即使在任务解码性能上取得对齐,未经对齐的卷积网络特征在表征几何结构上与生物 IT 皮层仍存在统计学差异,支撑主要结果第 4 条。

讨论

作者在讨论中强调了方法学基准与理论解释的边界:首先,深度卷积网络在核心识别任务上的表征优势具有统计稳健性:在引入生物学噪声与下采样校正后,具有深层层级的监督学习卷积网络首次在客体识别解码性能上达到了灵长类 IT 皮层的表征水平,显著突破了浅层初级视觉模型的功能瓶颈;其次,作者明确界定了任务解码性能等价与神经机制完全一致之间的差异:在任务导向的分类解码维度上,Zeiler & Fergus 网络与 IT 多单元表现相当,但在逐个神经位点的编码预测以及无监督表征相似性(RDM)对比中,深度网络与真实 IT 皮层之间仍保留了超过 40% 未被解释的可解释方差。此外,生物 V4 皮层对 IT 反应的预测与卷积网络的预测呈现弱相关,提示生物腹侧通路内部可能包含与视觉前馈分类不完全重叠的内在动态或循环连接特性。在实验条件限制上,研究所采用的 100 ms 短暂呈现主要针对前馈驱动的核心识别,未涵盖更长时间尺度下自上而下注意或眼动重构的交互;合成刺激集在几何参数上变异充分,但尚未全面覆盖复杂的自然阴影与遮挡条件;非人灵长类在实验中处于被动注视状态,而人类参照数据来自主动按键任务。这些因素明确界定了深度学习模型作为生物腹侧流前馈机制近似模型的适用范围。

一句话总结

本研究通过严格的生理噪声对齐与采样校正方法,证实了深层卷积神经网络在高变异核心客体识别的解码性能上可达到灵长类下颞叶(IT)皮层多单元表征水平,确立了深度网络作为生物腹侧流表征候选模型的计算基准。同时,在神经编码预测与表征相似性分析中检出的显著未解释方差,明确揭示了前馈人工网络与真实灵长类视觉皮层内在动力学之间的客观差距。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。