IT / 文献库

PAPER 058 / CLOSE READING

Comparison of neuronal responses in primate inferior-temporal cortex and feed-forward deep neural network model with regard to information processing of faces

语义审核:fail · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · TE 群体活动的 PCA:粗类别在前、细类别随倒置消失
    2. 图 2 · AlexNet 三层 PCA 与 RDM:不对称在全连接层成形
    3. 图 3 · 层间 RDM 与 TE 时间窗的相关:fc6 是最佳对应层
  6. 讨论
  7. 一句话总结

本研究将认知神经科学中的面孔倒置效应(face inversion effect)拆解为两个可操作的表征维度:正立与倒置面孔在几何空间中的解离层级,以及“正立面孔个体辨别优于倒置面孔”的加工非对称性起源。作者通过预训练的经典前馈深度卷积神经网络(AlexNet)逐层提取图像特征,构建表征相异性矩阵(RDM),并与恒河猴前下颞叶(TE 区)在不同时间窗内的神经群体放电进行表征相似性对齐。结果表明:正立与倒置面孔的空间分离在底层卷积层即可前馈实现;而正立面孔个体细分的加工优势则主要涌现于全连接层,与 TE 区的高阶神经表征特征高度吻合,界定了前馈计算与循环反馈在面孔表征中的可能功能边界。

研究背景

前馈深度卷积神经网络在计算机视觉物体分类中的突破,使其成为建模灵长类腹侧视觉通路计算架构的重要候选;然而生物大脑视皮层富含大量的局部侧向抑制与自上而下的长程反馈投射。评估纯前馈模型对神经电生理现象的解释限度,不能仅依赖任务层面的整体识别正确率,而需深入考察具备明确时序动态的神经表征过程。作者实验室先前的单细胞记录发现,灵长类下颞叶 TE 区神经元在时程上首先表征物种等粗粒度范畴(如人脸 vs. 猴脸 vs. 几何形体),随后在延迟窗口内进一步解析个体身份与微表情等细粒度属性;且倒置变换主要削弱后期的细粒度个体信息,对前期的粗粒度范畴表征影响较小。这为检验倒置效应的神经计算成分提供了良好的切入点。

在理论层面,面孔倒置包含两个具有不同计算复杂度的核心现象:其一为图像几何朝向的物理分离(正立 vs. 倒置的范畴区分);其二为知觉敏感度的非对称性(即正立状态下对细微个体差异的辨别力显著高于倒置状态)。朝向分离在初级视网膜或简单局部特征检测中即可形成,而细粒度辨别的特异性非对称性则可能依赖多层级非线性整合。若纯前馈 AlexNet 足以重现某种加工表型,即可确立该表型的前馈充分性;若前馈模型无法模拟由粗到细的动态演化时程,则为进一步检验局部循环连接提供了理论线索。

基于此,研究将包含正立与倒置的人类及猕猴面孔刺激集分别呈递给 AlexNet 与活体记录系统,在模型各层与神经记录的不同时窗提取表征相异性矩阵,对比正倒朝向分离度、细粒度个体非对称性及两者的表征相似性。结果显示,朝向分离主要在浅层卷积阶段完成,细粒度个体的非对称表征则在全连接层显现并与 TE 区高度吻合;模型未重现由粗至细的时间展开动态。受限于刺激集规模以及通用 ImageNet 预训练中灵长类表情样本的缺失,该结论界定了前馈模型的解释边界,表明全连接层与生物 TE 区在表征拓扑上的相似性并不等同于两者共享相同的微观环路连接。

研究思路

研究设计采用系统性的层级表征比对方法:将相同的 56 张面孔刺激(包含 28 张正立图像与 28 张倒置图像)分别输入深度网络 AlexNet 与恒河猴视觉记录系统。在计算模型侧,针对卷积层与全连接层的输出特征向量执行主成分分析(PCA)并计算表征相异性矩阵(RDM);在神经生理侧,对 119 个前下颞叶神经元的群体放电向量执行相同的降维与 RDM 提取。随后,利用 Spearman 秩相关系数逐层、逐 50 ms 滑动时窗地评估模型层与神经群体状态的相似性对齐。选取 AlexNet 旨在利用其纯前馈、缺乏循环反馈的结构属性作为探针:在 AlexNet 中自然涌现的现象可归因为前馈分层特征抽取的内在属性;而在前馈结构中缺失的时序动态特征则指示了循环反馈环路的潜在必要性。

方法

神经数据来自两只雄性恒河猴(Monkey C,10 kg;Monkey T,9 kg)在注视任务下的单细胞记录(电极垂直插入,记录位点大致在 TEa 与 TEav 区;数据采自 Sugase-Miyamoto 等,2014 的实验)。试次流程为:握杆后出现 0.3°×0.3° 的黄色注视点,注视 200–300 ms 后目标消失 100 ms,随即呈现测试刺激 400–500 ms。刺激为彩色面孔图片(20°×20° 以内):16 张猴脸(4 个模型个体 × 4 种表情)与 12 张人脸(3 个个体 × 4 种表情),共 28 张,再各自 180° 旋转得倒置版本,合计 56 张;猴子对这些人/猴模型均不熟悉。分析对象为 119 个面孔反应神经元(C 猴 28 个、T 猴 91 个):以 50 ms 窗、1 ms 步进滑动计算 119 个神经元的平均放电率,得到 56 个群体活动向量;按前作惯例取 [115, 165] ms 窗代表粗类别编码、[140, 190] ms 窗代表细类别编码,并加测 [101, 151] ms 窗。模型侧使用 Matlab 预训练的 AlexNet(5 个卷积层 conv1–5、3 个全连接层 fc6–8,max pooling 跟随 conv1、conv2、conv5,各层单元数从 conv1 的 290,400 递减到 fc8 的 1,000;权重由 ILSVL12 图像库——ImageNet 子集,100 万张图——训练,未对面孔微调),刺激统一缩放为 227×227。统计为单侧 t 检验(配对或独立样本,文中逐处给出 df 与 p 值)。

主要结果

  1. TE 神经元复现已知的倒置效应时程:在 [115, 165] ms 窗,人脸正立与倒置向量间的欧氏距离显著大于猴脸正倒间的距离(单侧 t 检验,p=0.021,df=26),且该窗对人-猴粗类别的区分优于 [101, 151] ms 窗(正立人脸与正立猴脸的距离在 [101,151] 显著更近,配对 t 检验 df=191,p=3.4×10⁻⁷³);到 [140, 190] ms 窗,正立条件下"人的个体之间""猴的表情之间"的均值向量距离显著大于倒置条件(df=2,p=4.4×10⁻³;df=5,p=4.6×10⁻³),即倒置损害了细类别表征。PCA 空间中正立与倒置的排布相对第一主成分轴不对称(图 1)。

  2. 模型逐层 PCA 显示分工:conv1 层正立与倒置的人脸向量已分开而猴脸重叠;conv5 层正倒猴脸分开;fc6 层正立条件下人的个体与猴的表情各自分离,且正立-倒置排布相对第一主成分轴不对称——而 conv1、conv5 中近乎线对称。即"正倒分离"随卷积层推进逐步完成,"正立的个体/表情分辨"要到全连接层才出现(图 2a–c)。

  3. RDM 定量支持同一结论:以"某个体 vs 其余个体"的相异性比较正立与倒置条件,人脸 Model1 在 fc6、fc7、fc8 显著大于倒置(p=0.0038、2.7×10⁻¹²、6.3×10⁻⁷)而 conv1、conv5 不显著(p=0.30、0.67);Model2、Model3 的显著性集中在 fc7。猴表情方向相反:倒置条件下的表情间差异在 fc6–8 均显著大于正立(如 fc6 的 p 从 4.3×10⁻¹⁰ 到 8.2×10⁻⁷),conv1、conv5 无差异(p=1.0)。作者据此概括:全连接层中"正立人脸个体间(与倒置猴表情间)"的分离更大(图 2d–f)。

  4. 正倒分离的峰值在卷积层:正立与对应倒置面孔间的平均 RDM 相异性,人脸在 conv2 达最大(0.7678),猴脸在 conv1 达最大(0.6291)——说明正倒分离发生在卷积层,前馈加工即可完成(图 3a)。

  5. 模型-神经对齐:各层 RDM 与 TE 神经元 RDM 的 Spearman 相关中,fc6 在 [101, 151] ms 窗最高(0.8017);三个全连接层 fc6–8 的相关在 [101,151]、[115,165]、[140,190] 三个时间窗都显著高于五个卷积层(单侧 t 检验,df=6,p=0.012、0.023、0.014)。TE 的表征方式最像全连接层(图 3b、c)。

图注解读

图 1 · TE 群体活动的 PCA:粗类别在前、细类别随倒置消失

原文图注:Fig. 1 (a) Images of upright faces used as test stimuli in the neuronal recording and the model. Inverted images were also used. Exp: facial expression. (b), (c), (d): Two-dimensional PCA spaces obtained from TE neurons in time windows of [101, 151] ms (b), [115, 165] ms (c), and [140, 190] ms (d). The horizontal axis represents the first principal component (PC), and the vertical axis represents the second PC. The red, magenta, blue, or cyan ellipses indicate the distribution of human upright individuals, human inverted individuals, monkey upright expressions, or monkey inverted expressions, respectively

面板 a 汇总了测试刺激库的构成(涵盖人类与猕猴各 4 种典型表情的完整正立及倒置版本);面板 b–d 分别展示了 TE 神经群体在三个连续时间窗口([101, 151] ms、[115, 165] ms、[140, 190] ms)下的二维 PCA 几何投影像。在 [101, 151] ms 时窗内,正立人脸与猴脸的数据分布椭圆彼此交叠;在 [115, 165] ms 窗口内,朝向与物种粗粒度范畴完成分离;进入 [140, 190] ms 窗口后,正立人类个体椭圆之间以及正立猴表情之间显著离散拉开,而倒置条件下的数据簇保持相对聚集。该时程轨迹呈现了 TE 神经群体编码细粒度倒置效应的动态演进。

Figure 1

图 2 · AlexNet 三层 PCA 与 RDM:不对称在全连接层成形

原文图注:Fig. 2 Two-dimensional PCA space obtained from feature vectors in model layers conv1 (a), conv5 (b), and fc6 (c). The colors of the ellipses are the same as in Fig. 1(b), (c). The RDM is plotted in layers conv1 (d), conv5 (e), and fc6 (f). The order of the x-axis and y-axis is as follows: upright human individuals (Model1-3) with 4 expressions, inverted human individuals (Model1-3) with 4 expressions, upright monkey expressions (Exp1-4) with 4 individuals, inverted monkey expressions (Exp1-4) with 4 individuals

面板 a–c 展示了 AlexNet 各层(conv1、conv5、fc6)特征向量的二维 PCA 分布图(标注规范与图 1 一致):浅层 conv1 仅实现部分正倒人脸的分离,至深层 conv5 完成朝向空间的系统性解离,进入全连接层 fc6 则涌现出正立细粒度个体分离的非对称性拓扑结构。面板 d–f 展示了对应的表征相异性矩阵(RDM,白色线框标注了同类内部个体或表情间的相异性区块):在 fc6–fc8 中,正立人脸个体间的相异性矩阵显著深于倒置人脸,卷积层则未见该非对称性差异。

Figure 2

图 3 · 层间 RDM 与 TE 时间窗的相关:fc6 是最佳对应层

原文图注:Fig. 3 (a): Average dissimilarity value of RDMs between upright and inverted faces in each model layer. (b): The Spearman correlation between each model layer and neuronal activities in a 50-ms time window. (c) RDM obtained from TE neurons in [101, 150] ms time window

面板 a 绘制了 8 个模型层中正立与倒置面孔之间的平均 RDM 相异度曲线,峰值集中于浅层卷积层(人脸在 conv2 达 0.7678,猴脸在 conv1 达 0.6291),在全连接层反而呈平缓趋势,表明朝向分离在前馈计算浅层已基本完成;面板 b 展示了各模型层 RDM 与 TE 神经群体动态 RDM 之间的 Spearman 秩相关系数时程曲线,fc6 层在 100–150 ms 时窗内呈现最高的相关性(相关系数达 0.8017),全连接层(fc6–fc8)的对齐程度在所有测试时窗内均显著优于卷积层;面板 c 展示了 [101, 150] ms 时窗内的 TE 神经 RDM 基准。

Figure 3

讨论

作者将上述结果置于计算神经科学背景中进行理论阐释:AlexNet 全连接层与下颞叶皮层的高相似度,与先前关于监督学习深度网络有效拟合灵长类 IT 表征的研究结论一致;正倒面孔在人工网络中的可分离性亦与多种深度架构的仿真结果相符。在表征机制层面,全连接层神经元具备整合全局视野的前馈感受野,与 TE 区大感受野的非线性整合特性相契合,两者共同促成了正倒面孔细粒度表征的非对称性。

作者指出了计算模型与生物神经元之间的两项关键差异:第一,模型未能重现正立猴表情细粒度区分的优势表型,推测与训练集(ImageNet)中灵长类特异性表情样本的分布匮乏有关;第二,TE 神经元展现出的“粗粒度范畴领先于细粒度身份”的时序演进规律在纯前馈卷积模型中完全缺失。作者据此提出假设:局部循环神经回路(如局部吸引子动力学网络)可能是皮层实现层级化分类时序分化的必要神经机制,将前馈卷积架构与局部循环吸引子模型相结合,构成了后续定量模拟皮层动态特征的可行进路。

一句话总结

本研究通过表征相似性分析将面孔倒置效应拆解为不同计算层级,证实几何朝向分离可由前馈卷积层直接实现,而细粒度个体辨别的特异性非对称性涌现于全连接层并与 TE 区相符,为辨析前馈计算与循环反馈在灵长类高阶视觉皮层中的功能分工提供了量化证据。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。