IT / 文献库

PAPER 026 / CLOSE READING

Representations of regular and irregular shapes by deep convolutional neural networks, monkey inferotemporal neurons and human judgments

语义审核:pass · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 64 个形状 stimulus 集:1 个规则组与 3 个不规则组
    2. 图 2 · 三个 CNN 的层级架构
    3. 图 3 · 相异度矩阵:从像素到 IT 的逐层演变
    4. 图 4 · IT–CNN 相关随层深的上升与全连接层的回落
    5. 图 5 · 把形状缩小一半:相关跃升前移、峰值深度不变
    6. 图 6 · 采样多少单元才够:表征高度冗余
    7. 图 7 · 主成分维度:低维即可匹配 IT
    8. 图 8 · 关键基线:IT、人类、HMAX 与像素的组间距离模式
    9. 图 9 · CNN 逐层的组间距离:浅层像素相、深层 IT 相、末层人类相
    10. 图 10 · 与生物数据的逐层相关曲线及 HMAX 对照
  6. 讨论
  7. 一句话总结

一句话定位:该研究将猕猴下颞叶(IT, inferior temporal cortex)单细胞形状选择性数据、深度卷积神经网络(CNN, convolutional neural network)逐层激活以及人类相似性分组判断纳入表征相似性分析(RSA, representational similarity analysis)进行系统对比。分析显示,经分类训练的深层卷积层与 IT 神经元的抽象形状表征高度一致,而人类判断则与更深的全连接层对应更紧密,表明生物知觉与行为判断在 CNN 深度层级上对应不同加工阶段。

研究背景

深度卷积神经网络(CNN)在自然图像分类上的表现,使其成为腹侧视觉通路的重要候选模型。已有研究发现,网络深层活动与猕猴 IT 单细胞、人类腹侧颞叶 fMRI 及识别行为之间的对应,优于不少早期模型。但这些验证多使用与网络训练材料相近的自然照片,模型可能利用训练中学到的自然图像统计,因此不能说明它能否泛化到神经科学长期使用的抽象刺激。真正的模型检验不应只在它熟悉的图像类型上比较准确率,还要看它能否重现脑对特定形状属性的表征几何。

Kayaert 等的规则与不规则形状实验提供了这样的试金石。前 IT 神经元对非意外属性的差异,如轮廓直弯和边是否平行,反应调制强于长宽比等度量差异;关键对比的像素差反而更小,HMAX C2 也不能重现这种模式。这组数据同时包含猕猴神经反应和人类相似性判断,可用来区分低阶像素相似、IT 式形状表征和人类判断。若 CNN 只在自然照片上像脑,却在这些刺激上仍像像素模型,它作为 IT 模型的范围就很有限;若深层也能复现,才支持其表征原则的跨材料泛化。

本文用表征相似性分析比较相同形状在 IT、CNN 各层和人类判断中的距离结构,并设置架构相同但权重随机的未训练网络,分离深度架构与分类训练的贡献。感受野、形状大小、单元抽样和主成分分析进一步检查结果是否由简单工程因素决定。研究还发现猴 IT 与人类判断分别更接近不同深度的层,说明“越深就越像整个大脑”并不成立。这里的相似性仍是对表征几何的比较,而不是证明 CNN 与脑采用相同机制;它的价值在于用困难且独立于训练分布的数据,对模型提出更严格的约束。

研究思路

研究采用 Kayaert 等建立的参数化形状数据集,该数据集的各组形状在像素差异上进行了平衡(例如非意外属性 NAP 差异的像素差异相对更小),排除了低阶图像相似度驱动的简单解释。分析基于表征相似性分析(RSA),考察在 IT 神经表征空间中彼此相近的形状,在 CNN 各层激活空间中是否保持相同的相对距离结构。为剥离拓扑架构与任务训练的各自贡献,作者对三个卷积网络(AlexNet、VGG-16、VGG-19)分别设置结构一致但权重随机初始化的未训练版本作为对照;同时引入人类被试对相同形状的相似性分组数据,检验对直/弯等几何特征的敏感性分歧对应网络的哪一处理阶段。此外,通过感受野与刺激尺寸缩放、单元抽样比例及主成分分析(PCA)三组控制实验,排查感受野尺寸或离群单元对层深效应的潜在干扰。

方法

神经电生理数据源自 Kayaert 等(2005):2 只雄性恒河猴在被动注视任务下观看 64 个参数化形状(视角约 7°,填充随机点纹理,灰底呈现 200 ms);记录窗口为刺激呈现后 50–150 ms 起算、长度 250 ms 的平均放电率,每种形状至少重复 5 次(中位数为 10 次);纳入分析的对象为对形状刺激表现出显著选择性(单因素 ANOVA,p<0.05)的 119 个前 IT 神经元(猴 1 包含 76 个,猴 2 包含 43 个),记录位点分布于上颞沟下岸及前 IT(TEad)外侧凸面。人类行为数据采集自 23 名独立成年被试,被试对打印的形状进行无约束自由分组,两形状间的相异度定义为将其划分至不同组别的被试比例。计算模型端采用 MatConvNet 预训练权重(AlexNet 在 ILSVRC2012 的 top-1 错误率为 42.6%,VGG-16 与 VGG-19 分别为 28.7% 与 28.5%);刺激图像统一转换为灰度格式、按各网络输入尺寸重采样并中心化;对网络每一层构建 64×64 的相异度矩阵(分别采用归一化欧氏距离与 1−Spearman 相关两种度量),取矩阵上三角与神经相异度矩阵计算 Spearman 秩相关。置信区间通过对 119 个 IT 神经元进行 10,000 次 bootstrap 重抽样获得;训练与未训练版本间的差异通过配对 bootstrap 检验评估并经 FDR 校正(q<0.05);神经噪声天花板采用经 Spearman-Brown 公式校正的折半相关系数估计。

主要结果

  1. IT 与 CNN 表征相似度随层深单调上升并在最深卷积层达到峰值。在 AlexNet 与 VGG-19 中,神经表征与模型激活的 Spearman 秩相关系数随层数递增显著增大,并在最深卷积层(如 VGG 的 conv5.4、pool5)达到峰值(三个网络的峰值相关均在 ρ≈0.60 附近;采用欧氏距离时平均峰值相关为 0.58,采用相关度量时为 0.64);进入末端两个全连接层后相关系数回落,末两层与第一卷积层的相似度无统计学显著差异;各深层卷积层相关接近但未触及神经噪声天花板(图 3、图 4)。
  2. 分类训练的增益集中在深层卷积层。未训练网络的逐层相异度模式变化微弱,与像素级欧氏距离高度重合(未训练 VGG-19 的 conv1.1 与像素相异度相关达 0.999),其与 IT 的相似度随深度仅呈现轻微上升,且在全连接层明显下跌;训练带来的表征改善集中于深层卷积阶段(图 3C、图 4 标注星号层)。这表明浅层相似性主要源于局部感受野与非线性池化的架构先验,深层的一致性则是分类学习的产物;单纯感受野增大无法解释该效应,因未训练网络的感受野同样逐层扩大,但其表征并未表现出与 IT 的匹配。当形状尺寸缩小一半时,表征相似度的跃升提前出现在较浅层,但峰值出现的网络深度依然保持在最深卷积层(图 5)。
  3. 神经表征具备低维与冗余特性。单元子抽样分析显示,仅需抽取 AlexNet 峰值层 10% 的单元(315 个)或 VGG-19 峰值层 0.1% 的单元(约 100 个),即可重现全层神经元与 IT 的相似度水平(图 6);PCA 分析表明,峰值卷积层前 10 个主成分解释了约 70% 的方差,仅保留前 3 个(AlexNet)或前 5 个(VGG-19)主成分,其与 IT 的表征相似度便已达全层水准(图 7)。
  4. 关键形状对比的逐层演变。在 Kayaert 原始实验的关键条件中,IT 神经元对规则形状组内差异及直/弯对比(ISC 对 ISS)的反应调制显著高于不规则组内差异,且直/弯对比在像素层面的差异实际上更小(图 8A);传统 HMAX C2 模型无法复现这种调制结构(图 8C),而人类知觉判断对直/弯对比表现出更高的相对敏感度(图 8B)。经过训练的 VGG-19 在浅层贴近像素分布模式(与像素距离相关 0.966),至最深卷积层演进为与 IT 神经表征一致的模式;在最后的全连接层,表征几何进一步向人类知觉模式转变,直/弯对比相异度显著超出规则组距离(VGG-19 fc8 p=0.039;VGG-16 fc7 p=0.039、relu7/fc8 p=0.023);未训练网络各层均无法匹配 IT 或人类的调制模式(图 9、图 10)。在 6 个形状组的均值距离层面,最深卷积层与 IT 神经表征呈现高相关,全连接层与人类判断的相关趋近于 1(图 10)。

图注解读

图 1 · 64 个形状 stimulus 集:1 个规则组与 3 个不规则组

原文图注:Fig 1. Shape set. One group of Regular (R) and three groups of Irregular shapes: Irregular Complex (IC), Irregular Simple Curved (ISC) and Irregular Simple Straight (ISS). A group of 16 shapes corresponds to two consecutive rows (labeled a,b) and the group names are depicted in the tree graph on the right. The 8 pairs (a,b) of each group are defined by the numbers on top of the figure (1,2, . . .8).

读法:本图展示了实验所用的 4 组共 64 个刺激形状,每组占两行(a、b 对应成对形状)。R 组为具有对称轴的规则几何形状;ISC 为全曲线轮廓的不规则形状;ISS 为将其对应曲线替换为直线段的形状;IC 为多轮廓复杂不规则形状。成对形状间在面积、纵横比与低阶像素分布上进行了匹配。图示的组内与组间对应关系构成了后续 RSA 矩阵划分的基础,用于检验直/弯对比与规则组内差异的表征结构。

Figure 1

图 2 · 三个 CNN 的层级架构

原文图注:Fig 2. Model architectures. Deep Convolutional Neural Network (CNN) architectures for the 3 different networks that we employed: Alexnet, VGG-16 and VGG-19. Early computational blocks consist of consecutive operations such as: convolution (conv), RELU activation function, normalization (norm; only for Alexnet) and max pooling (pool). The later stages of each CNN incorporate three fully connected (fc) layers, where the first two are followed by a RELU activation function.

读法:本图示意了 AlexNet、VGG-16 和 VGG-19 的分层计算流水线,标注了卷积层(conv)、ReLU 激活、归一化(norm)及最大池化(pool)等模块的排布顺序,以及末端的三个全连接层(fc)。各网络在深度与参数规模上的差异用于检验层级表征演进是否具备跨架构的普遍性,图中的层级标识与后续分析曲线的横轴对应。

Figure 2

图 3 · 相异度矩阵:从像素到 IT 的逐层演变

原文图注:Fig 3. Dissimilarity matrices. Matrices of Euclidean distances for pixel gray-levels (A), the IT neurons (B), and 5 layers of the trained and untrained versions of 2 deep CNNs (C). Note that the dissimilarity matrices are by definition symmetric about the diagonal of zeros, which is plotted in white color. The stimulus groups are indicated in (A) as in Fig 1 and the CNN layers in (C) have the same terminology as in Fig 2. The matrices have been separately normalized and are plotted in percentile units. Dissimilarities increase from blue to yellow.

读法:该图并列展示了像素欧氏距离矩阵(A)、IT 神经群相异度矩阵(B)以及训练与未训练网络代表性层级的距离矩阵(C)。色标从蓝到黄表示相异度递增。观察要点在于表征聚类的重构:IT 矩阵呈现的形状分组差异在浅层网络与未训练版本中缺失(后者与像素相异度高度类似),而在经过训练的网络深层卷积层逐步显现,直观反映了监督学习对高阶几何特征提取的重构过程。

Figure 3

图 4 · IT–CNN 相关随层深的上升与全连接层的回落

原文图注:Fig 4. Representational similarity analysis of deep CNN layers and IT neurons for the whole shape set. Spearman rank correlation coefficients between IT and model layer similarities are shown for each layer of Alexnet (A) and VGG19 (B) using the Euclidean distance metric. Error bars depict 95% confidence intervals, determined by 10,000 bootstrap samples of the IT neuron pool (n = 119 neurons). Stars indicate layers for which the Spearman rank correlations for the trained version differed significantly from its untrained version (paired bootstrap test; False Discovery Rate corrected q<0.05). Crosses indicate trained layers which differed significantly from the first convolutional layer of the network. The horizontal line and gray band indicate the median and 95% interval, respectively, of the Spearman-Brown corrected split-half correlations (n = 10000 splits) of the neuronal distances, as an estimate of the noise ceiling.

读法:横轴为网络计算层级,纵轴为各层与 IT 神经表征的 Spearman 秩相关。误差棒表示 10,000 次神经元 bootstrap 获得的 95% 置信区间,星号标注训练与未训练版本的显著差异层,水平灰色带表示神经数据的噪声天花板。曲线在深层卷积层达到峰值(ρ 接近 0.60),随后在全连接层显著下降,统计上确认了表征拟合优势主要定位于深层卷积阶段。

Figure 4

图 5 · 把形状缩小一半:相关跃升前移、峰值深度不变

原文图注:Fig 5. Representational similarity analysis of deep CNN layers and IT neurons for the whole shape set with two different sizes. Spearman rank correlation coefficients between IT and model layer similarities are shown for each layer of Alexnet (A) and VGG19 (B) for the original and twofold smaller sizes ("reduced size"). The dissimilarities were Euclidean distances. Error bars depict 95% confidence intervals, determined by 10,000 bootstrap samples of the IT neuron pool (n = 119 neurons). Stars indicate layers for which the Spearman rank correlations for the trained version differed significantly from its untrained version (paired bootstrap test; False Discovery Rate corrected q<0.05). The horizontal line and gray band indicate the median and 95% interval, respectively, of the Spearman-Brown corrected split-half correlations (n = 10000 splits) of the neuronal distances, as an estimate of the noise ceiling.

读法:本图比较了原始尺寸与缩小至 50% 的形状刺激在网络各层的拟合曲线。当刺激变小时,表征相似度的升高趋势在较浅的层级更早出现,但网络的全局峰值层级在 VGG 中并未改变,表明刺激物理尺度会改变层级响应的上升起点,但未改变深层卷积层作为 IT 最优拟合阶段的基本定位。

Figure 5

图 6 · 采样多少单元才够:表征高度冗余

原文图注:Fig 6. Similarities between IT and CNN peak layer shape dissimilarities as a function of percent of units. (A) Spearman rank correlation coefficients between IT and peak CNN layer similarities are shown for each of two CNN models as a function of sample size, expressed as percentage of the total number of units that were activated differentially by the 64 shapes. (B) Pearson correlation coefficients between the mean neural distances and the mean distances of the peak CNN layer (n = 6 mean distances; Fig 10) as a function of percentage of the total number of units. Note that 0.1% corresponds to only 3 Alexnet units, explaining the large range of correlations for that sample size. The dissimilarities were Euclidean distances. Error bars depict 95% confidence intervals, determined by 10,000 random samples from the population of differentially activated CNN units of that layer.

读法:横轴为峰值层参与分析的单元抽样百分比,纵轴为表征相似度(A 为全局 Spearman 相关,B 为 6 组均值 Pearson 相关)。曲线显示,抽样至 10%(AlexNet)或 0.1%(VGG-19,约 100 个单元)时,拟合效果即已接近全层水平,表明与神经数据的相似性分布在大量单元构成的分布式表征中,而非个别单元驱动。

Figure 6

图 7 · 主成分维度:低维即可匹配 IT

原文图注:Fig 7. Similarities between IT and CNN peak layer shape dissimilarities as a function of retained principal components. (A) Spearman rank correlation coefficients between IT and peak CNN layer similarities are shown for each of two CNN models as a function of retained principal components of the CNN layer activations. The dissimilarities were Euclidean distances. Error bands depict 95% confidence intervals, determined by 10,000 bootstrap samples of the IT neuronal pool. (B) The cumulative proportion of explained variance as a function of principal component number for the Alexnet (black line) and VGG-19 layer (gray line). (C) Pearson correlation coefficients between the mean neural distances and the mean distances of the peak CNN layer as a function of retained principal components.

读法:横轴表示保留的主成分数量,分别展示全局表征相关(A)、累积解释方差比例(B)及 6 组均值相关(C)。前 10 个主成分涵盖了激活空间的大部分方差,仅保留少数几个主成分即足以达到全维度的 IT 拟合精度,显示抽象形状选择性在特征空间中具有紧凑的低维分布。

Figure 7

图 8 · 关键基线:IT、人类、HMAX 与像素的组间距离模式

原文图注:Fig 8. Response modulations for the shape groups: IT neurons, human judgements, HMAX and pixel-based dissimilarities. (A) Mean response modulations of IT neurons for the shape groups R, IC, ISC, ISS, "ISCa vs ISSa" and "ISCb vs ISSb". See Fig 1 for the nomenclature of the different shape groups. (B) Dissimilarities for the shape groups (R, IC, ISC, ISS, ISC vs ISS) based on human judgements. (C) Dissimilarities for the same shape groups based on the HMAX C2 layers' output. (D) Pixel-based dissimilarities. Error bars indicate standard errors of the mean. B, C and D are taken from Kayaert et al. [12].

读法:柱状图对比了各基准在组内与组间条件下的平均相异度:IT 神经元对直/弯对比及规则组差异表现出更强的反应调制(A);人类判断对直/弯维度的相对敏感性更高(B);传统 HMAX 模型未重现直/弯优势(C);像素相异度与神经反应趋势相反(D)。这组数据为检验模型表征提供了神经与行为参照基准。

Figure 8

图 9 · CNN 逐层的组间距离:浅层像素相、深层 IT 相、末层人类相

原文图注:Fig 9. Response dissimilarities for the shape groups: Deep CNN layers. Dissimilarities for groups R, IC, ISC, ISS, "ISCa vs ISSa", "ISCb vs ISSb" of selected trained (left column) and untrained (right column) versions of VGG-19 layers (same nomenclature as in Fig 2). Same conventions as in Fig 8. The specific selection of layers is motivated by the fact that there were no critical differences in the layers that follow the selected ones.

读法:左列为训练版 VGG-19 的选定层级,右列为未训练对照版。逐层观察可见:浅层(conv1.1)反映低阶像素相异度;深层卷积层(conv5.4、pool5)演变为与图 8A 一致的 IT 神经表征结构;全连接层(fc8)呈现直/弯差异显著高于规则组的知觉判断模式。右列未训练各层始终维持类似像素相异度的结构,验证了表征模式演化依赖于任务训练。

Figure 9

图 10 · 与生物数据的逐层相关曲线及 HMAX 对照

原文图注:Fig 10. Correspondence between model dissimilarities and biological dissimilarities (IT responses and human judgement-based dissimilarities) for the shape groups. (A, B). Gray curves show the Pearson correlation coefficients between the mean neural distances and the mean distances of the CNN layers (n = 6 mean distances per layer). Blue curves show the Pearson correlation coefficients of the CNN layer distances and the distances based on human judgements. Data for trained and untrained CNNs are plotted with full and dashed lines, respectively. Nomenclature of CNN layers as in Fig 2. Results for all two models (Alexnet and VGG-19) are displayed in the subplots (A, B). (C) Neural: Pearson correlation coefficient between the mean IT distances and the mean distances of the peak Alexnet layer, peak VGG-19 layer, the mean HMAX C2 layer distances, and mean pixel-based distances, across shape groups. Human: same for the human judgement distances.

读法:在 (A)(B) 中,灰色曲线代表模型与 IT 组均值距离的 Pearson 相关,蓝色曲线代表与人类行为判断距离的相关;实线为训练模型,虚线为未训练对照。灰线在深层卷积层达到峰值后于全连接层下降,蓝线则在全连接层持续攀升并在末层趋近于 1。(C) 汇总表明,深层卷积网络对两组生物数据的拟合水平均显著优于 HMAX C2 和像素基线。

Figure 10

讨论

作者从三个层面阐述了上述发现的理论意义。首先,该实验对 CNN 作为腹侧视觉流模型提供了跨刺激域的泛化检验:网络的参数仅通过自然场景的图像分类进行优化,从未接受人工几何轮廓的训练,却在深层卷积层重现了灵长类 IT 神经元对抽象几何属性的表征几何,表明其提取的特征表征不仅适用于训练集的自然图像统计,也可迁移至参数化人造图形。其次,针对末端全连接层向人类知觉判断偏移而偏离 IT 神经数据的现象,作者指出全连接层直接受制于类别标签驱动的决策边界,促使其类内不变性增强;而 IT 神经元对同一语义范畴内的不同构型仍保留敏感差异;人类在自由排序任务中可能调动高阶语义归类策略,因而与全连接层的决策表征更加契合。最后,作者强调引入未训练网络作为实验对照的必要性:该设计能够严格区分局部感受野与分层汇聚等架构先验与监督任务训练带来的表征重构。局限性方面,本研究所用的几何刺激维度仍属有限子集;当前前馈卷积模型对对抗扰动或视觉遮挡的鲁棒性显著低于生物系统;各计算层与皮层分层及生物神经信号时间维度的对应机制尚未完全解决;生物视觉系统在发育过程中形成形状选择性的学习机制也未见得是监督式优化。

一句话总结

该研究揭示了卷积神经网络在层级表征演化中的阶段性特征:在监督分类训练下,深层卷积层表征更贴近猴 IT 神经元的几何相似度,而末端全连接层则转向匹配人类的分类相似性判断,体现出感知表征与类别决策在处理深度上的分离。未训练网络对照证实了这种几何对齐源于任务学习而非网络拓扑先验;同时,该结论基于 119 个 IT 神经元与 64 个参数化形状样本,其在更广刺激维度上的外推边界仍有待进一步界定。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。