IT / 文献库

PAPER 301 / CLOSE READING

Performance-optimized hierarchical models predict neural responses in higher visual cortex

语义审核:pass · 图表审核:minor_issue

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 2 · 用性能优化造出"神经样"模型:流程与行为验证
    2. 图 3 · 逐层逼近 IT:单点反应预测的定性与定量结果
    3. 图 4 · 群体表征层面的对齐:RDM 相似性与三重泛化
    4. 图 5 · V4 由中间层预测:层级对应关系的直接证据
  6. 讨论
  7. 一句话总结

该研究为灵长类腹侧视觉通路终末端的下颞叶皮层(inferior temporal cortex, IT)构建了定量准确的神经编码计算模型。研究者在“生物学合理的层级神经网络”空间中开展高通量计算搜索,发现计算模型在物体识别任务中的分类性能与其对 IT 皮层单神经元反应的预测能力呈现强正相关。基于此,一个纯粹按物体分类性能优化、从未接触过电生理记录数据的深层卷积神经网络(HMO 模型),其顶层单元能够高度预测 IT 皮层的单点放电反应,其中间层能够定量预测 V4 皮层反应。该工作首次定量证实了“面向任务性能的优化能够塑造大脑皮层样神经表征”,成为连接计算神经科学与深度学习的重要文献。

研究背景

灵长类腹侧视觉通路支持了快速、准确且对复杂变换高度鲁棒的物体识别:视网膜上的成像会随物体的姿态、距离、空间位置、光照条件及局部遮挡发生剧烈变化,但人类及非人灵长类依然能够稳定提取物体类别。腹侧流被广泛视为一个逐级抽象的层级处理系统:初级视皮层 V1 可用线性 Gabor 边缘检测器及其非线性组合充分描述,但其神经元群体难以抵抗复杂的图像仿射变换;IT 皮层的群体神经反应则直接支持了实时的、视角与位置不变的物体分类;位于中间阶段的 V4 皮层(IT 的主要皮层输入源)功能特性介于二者之间。

在建模方法上,针对高层视觉皮层长期缺乏有效的计算模型。早期基于先验几何假说的模型(如 HMAX 系列)在预测复杂自然图像下的神经反应时表现受限,而直接利用神经电生理记录数据拟合非线性调谐曲线的参数泛化能力有限。高阶建模面临着两难处境:一方面,模型不仅需要匹配生理记录,还必须具备支撑实际行为识别的计算容量;另一方面,自下而上依次拟合各中间层调谐曲线的策略在复杂非线性系统中极难收敛。作者提出的核心假说认为:在层级线性-非线性网络(hierarchical linear-nonlinear, HLN)的模型空间内,纯粹以物体识别性能为导向的优化过程,会对网络表征施加与生物演化和发育类似的计算约束,从而使最优模型的内部表征自发逼近生物大脑皮层。

研究思路

研究设计分为递进的三个阶段。第一阶段,验证任务性能与神经预测力的关联性:采用三种采样策略(在参数空间随机采样、针对八分类不变物体识别任务优化性能、直接针对 IT 神经反应拟合优化)分别生成上千个卷积神经网络,测定各网络的物体分类性能与对 IT 记录位点的线性预测能力,绘制性能-预测力散点图。若性能优化模型的神经预测力能够逼近直接针对神经数据拟合的模型,则证实“性能导向”策略的可行性。第二阶段,训练高性能深层网络:采用层级模块化优化算法(hierarchical modular optimization, HMO,一种结合自适应 boosting 与超参数搜索的优化流程),在独立的图像训练集上预训练出达到人类物体识别精度的四层卷积网络(HMO 模型),全过程不引入任何神经电生理数据。第三阶段,双盲验证逐层神经对应:将训练完成的 HMO 模型输入测试图像,在冻结模型参数的条件下,考察顶层表征对 IT 神经位点的预测效果,并检验中间层表征对 V4 神经位点的对应关系。

为排除混杂因素,研究设置了严格的对照检验:其一,优化训练所用的图像集与神经测试集在具体物体、类别、背景及光照参数上完全不重叠,以检验学到表征的泛化性;其二,构建“语义理想观察者”(包含可直接获取物体真实类别标签的理论模型)作为对照——若高预测力仅仅源于物体类别信息,则理想观察者应表现出同等预测力,若表现不同则可证实层级网络结构本身提供了关键的非类别特征表征。

方法

神经电生理数据采集自两只执行中心注视任务的清醒恒河猴(Macaca mulatta,体重 7 与 9 kg),利用长期植入的微电极阵列(Cerebus 系统)进行多通道记录,共获得 296 个视觉驱动的有效记录位点(包含 IT 皮层 168 个位点、V4 皮层 128 个位点,多数为多单元记录位点)。视觉测试刺激由 5,760 张高保真 3D 渲染物体图像构成,涵盖八个自然类别(动物、船只、汽车、椅子、面孔、水果、飞机、桌子),物体随机叠加于复杂的自然背景图像之上,并在空间二维位置、尺度缩放及三维旋转角度上施加大范围随机变化。每张图像呈现 100 ms,提取刺激呈现后 70–170 ms 窗口内的平均动作电位数作为量化神经反应。

模型空间层面,每个候选网络由 57 个超参数定义(涵盖网络层数、各层滤波核尺寸、扇入扇出维度、激活阈值、池化指数及感受野范围),卷积层包含线性滤波、阈值整流、局部最大/平均池化及局部响应归一化等标准操作。性能评估采用模型输出层特征训练线性支持向量机(SVM),评估八分类任务的平衡准确率(balanced accuracy,随机基线为 0.5);人类行为基准通过网络心理物理学实验测定。神经预测力评估采用带交叉验证的线性回归:针对每个目标神经位点,使用模型某层神经元的线性加权拟合“合成神经元”,在未参与训练的测试图像上计算解释方差百分比(explained variance percentage,经神经反应试次间变异归一化),取全脑区中位数作为预测指标。在群体水平,采用表征不相似矩阵(representational dissimilarity matrix, RDM)评估模型群体表征与皮层群体反应在高维空间的几何对齐度,并进行图像级、物体级与类别级的三重跨域泛化测试。

主要结果

  1. 分类任务性能与 IT 神经预测力呈强正相关,性能优化逼近直接神经拟合上限。 在三种模型筛选方式下,网络的分类性能均与 IT 预测力显著正相关:随机采样模型组 r = 0.55,任务性能优化组 r = 0.78,直接按 IT 神经反应拟合组 r = 0.80(图 1A)。任何单一结构超参数(如感受野尺寸)与预测力的相关性均远低于性能指标。尤为关键的是,仅按任务性能优化(未使用神经数据)所达到的最优 IT 预测力,已基本追平直接利用神经数据优化的模型水平;且该关系表现出非对称性:高性能网络必然具有高预测力,但直接针对部分神经数据拟合的网络并不一定具备顶级分类性能。

  2. HMO 模型在不变性物体识别行为上匹配了灵长类 IT 群体与人类表现。 行为测试表明,在低、中、高三种视角变化梯度下,IT 神经元群体的线性解码准确率全程紧密追踪人类心理物理学表现;V4 群体在低变化下表现良好,但在高变化下性能大幅衰退;像素级、SIFT、标准 V1 样、V2 样及 HMAX 等基准模型在高变化条件下均出现显著性能滑坡。经预训练的四层 HMO 模型在测试集上完全复现了 IT 神经群体与人类的识别表现(图 2B)。

  3. HMO 模型顶层逐层逼近并定量预测 IT 单点神经反应。 HMO 顶层特征对 IT 神经位点的平均解释方差百分比达 48.5 ± 1.3%(图 3B、C),较既往最佳对照模型提升近一倍。各层对 IT 的预测力沿解剖层级递增:L1 为 4%、L2 为 21%、L3 为 36%、顶层达 48.5%(图 3A)。语义理想观察者模型仅能解释约 15% 的 IT 变异,表明优异的预测表现并非仅来自类别选择性,层级前馈结构提供的复杂中间几何表征构成了 IT 神经反应的核心组成部分。

  4. 群体高维表征几何逼近生理噪声上限并展现出跨域泛化性。 HMO 顶层输出与实测 IT 群体的 RDM 矩阵高度对齐,其 Spearman 秩相关系数接近由分半信度校正(Spearman-Brown 校正)确定的生理噪声上限(图 4)。该高维对齐特性在全新物体图像、未见样本物体乃至完全未参与训练的新物体类别上均保持稳定。

  5. 中间层表征定量预测 V4 反应,证实了层级功能的对应关系。 HMO 的倒数第二层(L3)对 V4 神经位点的平均解释方差达 51.7 ± 2.3%,显著优于顶层(约 33%)与低层(图 5),也显著优于传统 V2 样对照模型(34.1 ± 2.4%)。与 IT 形成对比的是,语义类别模型对 V4 几乎完全丧失预测力(解释方差接近零),这与 V4 缺乏高阶抽象类别调谐的生理事实相符合。该反向分离证据表明,面向终末任务性能的优化过程,对其支持中间计算的隐藏层施加了符合生物 V4 特性的有效约束。

图注解读

图 2 · 用性能优化造出"神经样"模型:流程与行为验证

原文图注:Fig. 2. Neural-like models via performance optimization. (A) We (1) used high-throughput computational methods to optimize the parameters of a hierarchical CNN with linear-nonlinear (LN) layers for performance on a challenging invariant object recognition task. Using new test images distinct from those used to optimize the model, we then (2) compared output of each of the model's layers to IT neural responses and the output of intermediate layers to V4 neural responses. To obtain neural data for comparison, we used chronically implanted multielectrode arrays to record the responses of multiunit sites in IT and V4, obtaining the mean visually evoked response of each of 296 neural sites to ∼6,000 complex images. (B) Object categorization performance results on the test images for eight-way object categorization at three increasing levels of object view variation (y axis units are 8-way categorization percent-correct, chance is 12.5%). IT (green bars) and V4 (hatched green bars) neural responses, and computational models (gray and red bars) were collected on the same image set and used to train support vector machine (SVM) linear classifiers from which population performance accuracy was evaluated. Error bars are computed over train/test image splits. Human subject responses on the same tasks were collected via psychophysics experiments (black bars); error bars are due to intersubject variation.

图 A 展示了计算建模与神经数据对比的技术路线:第一步利用高通量搜索优化层级卷积神经网络的超参数以最大化识别性能;第二步在完全独立的测试集上将模型各层表征与 IT、V4 的微电极阵列记录数据进行对比。图 B 展示了八分类任务在低、中、高三种视角变化难度下的识别正确率(随机基线 12.5%):绿色实心柱(IT 群体解码)与黑色柱(人类心理物理测试)在各变化梯度下保持高识别率;阴影绿柱(V4)在高变化下性能下降;灰色对照模型(像素、SIFT、V1 样、V2 样、HMAX)全面落后;红色柱代表的 HMO 模型在各变化等级下均完全匹配了 IT 群体与人类的表现。该图为结果 2 提供了行为层面的验证依据。

Figure 2

图 3 · 逐层逼近 IT:单点反应预测的定性与定量结果

原文图注:Fig. 3. IT neural predictions. (A) Actual neural response (black trace) vs. model predictions (colored trace) for three individual IT neural sites. The x axis in each plot shows 1,600 test images sorted first by category identity and then by variation amount, with more drastic image transformations toward the right within each category block. The y axis represents the prediction/response magnitude of the neural site for each test image (those not used to fit the model). Two of the units show selectivity for specific classes of objects, namely chairs (Left) and faces (Center), whereas the third (Right) exhibits a wider variety of image preferences. The four top rows show neural predictions using the visual feature set (i.e., units sampled) from each of the four layers of the HMO model, whereas the lower rows show the those of control models. (B) Distributions of model explained variance percentage, over the population of all measured IT sites (n = 168). Yellow dotted line indicates distribution median. (C) Comparison of IT neural explained variance percentage for various models. Bar height shows median explained variance, taken over all predicted IT units. Error bars are computed over image splits. Colored bars are those shown in A and B, whereas gray bars are additional comparisons.

图 A 展示了三个典型 IT 记录位点(分别对椅子特异、对面孔特异以及广谱偏好)在 1,600 张测试图像上的实测放电(黑线)与各模型预测(彩线)对比:随着 HMO 网络层数加深,预测轨迹与实测反应的贴合度系统性提升,对大范围几何形变图像的预测改善尤为明显。图 B 为全群体 168 个 IT 位点上各模型解释方差的分布直方图(黄色虚线标定中位数)。图 C 为群体预测方差中位数对比:HMO 顶层(约 48.5%)显著高于浅层(L1 约 4%、L2 约 21%、L3 约 36%),且较传统对照模型(V2 样约 26%、HMAX 约 25%、理想观察者约 15%)具有明显增益。该图完整支撑了结果 3。

Figure 3

图 4 · 群体表征层面的对齐:RDM 相似性与三重泛化

原文图注:Fig. 4. Population-level similarity. (A) Object-level representation dissimilarity matrices (RDMs) visualized via rank-normalized color plots (blue = 0th distance percentile, red = 100th percentile). (B) IT population and the HMO-based IT model population, for image, object, and category generalizations (SI Text). (C) Quantification of model population representation similarity to IT. Bar height indicates the spearman correlation value of a given model's RDM to the RDM for the IT neural population. The IT bar represents the Spearman-Brown corrected consistency of the IT RDM for split-halves over the IT units, establishing a noise-limited upper bound. Error bars are taken over cross-validated regression splits in the case of models and over image and unit splits in the case of neural data.

图 A 展示了基于 64 个测试物体计算的物体级表征不相似矩阵(RDM),矩阵呈现清晰的同类别聚类拓扑;图 B 对比了真实 IT 群体与 HMO 顶层合成群体在图像级、物体级与类别级三种跨域设定下的 RDM 模式;图 C 展示了各模型 RDM 与真实 IT 群体 RDM 的 Spearman 秩相关系数:HMO 顶层的柱高显著超越各类基线模型,紧密贴近由分半一致性确定的生物学测量上限。该图支持结果 4,表明模型复现了高级视皮层在高维表征空间的几何结构。

Figure 4

图 5 · V4 由中间层预测:层级对应关系的直接证据

原文图注:Fig. 5. V4 neural predictions. (A) Actual vs. predicted response magnitudes for a typical V4 site. V4 sites are highly visually driven, but unlike IT sites show very little categorical preference, manifesting in more abrupt changes in the image-by-image plots shown here. Red highlight indicates the best-matching model (viz., HMO layer 3). (B) Distributions of explained variances percentage for each model, over the population of all measured V4 sites (n = 128). (C) Comparison of V4 neural explained variance percentage for various models. Conventions follow those used in Fig. 3.

图 A 展示了典型 V4 记录位点的实测放电与模型预测对比,体现了 V4 神经元在复杂图像间更剧烈的特征跳跃性调谐,最佳拟合模型对应于 HMO 第 3 层(红色高亮);图 B 与 C 分别展示了 128 个 V4 位点上解释方差的分布直方图与中位数比较:HMO 倒数第二层 L3 的解释方差达到 51.7%,显著高于更深层(顶层约 33%)以及更浅层(L1 约 8%),同时显著优于 V2 样基准模型(约 34%)。语义类别模型在 V4 上解释方差接近于零。该图支持结果 5,确立了中间层结构与中间视皮层的功能对应。

Figure 5

讨论

研究者将该建模方法的成功归纳为双重约束的协同作用:其一是宏观计算目标的功能约束(即对复杂三维变换具有鲁棒性的物体分类性能),其二是网络拓扑的结构约束(层级前馈卷积与局部非线性操作)。二者缺一不可——仅有层级结构而无任务优化无法产生皮层样表征,仅有任务优化而采用非生物结构(如全连接网络或浅层分类器)同样无法重现皮层表征几何。与传统采用生理数据逐个拟合单神经元调谐曲线的方法相比,该工作采用固定网络架构,仅通过线性回归从固定基向量中读取反应,模型自由度不随神经元数量线性增加,因而具备优异的样本外泛化性能。

讨论进一步探讨了该研究对神经科学方法论的启示:传统自下而上的研究路径倾向于先解析底层感受野的局部几何基元,但在高阶非线性皮层中难以有效推进;自顶向下的计算目标优化则表明,进化的选择压力与个体发育的学习目标塑造了皮层神经元的调谐特性,将 V4 刻画为支撑 IT 下游分类计算所必需的中间表征阶段,为理解中间视皮层的功能定位提供了新的理论视角。文章同时指出了模型的简化与局限:当前网络未包含皮层内广泛存在的循环与自上而下反馈连接,对时间动态与精细动力学的模拟有限;未来工作需要进一步衔接初级视皮层 V1/V2 的细致映射,并结合更深层的计算机视觉架构检验功能特化亚区(如面孔区、位置区)的自组织机制。

一句话总结

该研究证实了以复杂物体识别任务为导向进行优化的深层卷积神经网络,其逐层内部特征能够高精度定量预测灵长类高级视皮层(V4 与 IT)的单点及群体神经反应,为理解高级视觉通路的表征组织原则提供了自顶向下的计算神经科学框架。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。