该文是表征相似性分析(representational similarity analysis, RSA)的代表性工作:研究向猕猴(单细胞记录)与人类(高分辨率 fMRI)呈现同一套 92 张真实世界物体图片,计算 IT 皮层对各图片的响应模式差异,构建表征相异矩阵(representational dissimilarity matrix, RDM),并在矩阵层面对比两物种的表征结构。结果表明,人与猴的 IT 皮层均以“生物/非生物”为顶层划分,面孔与躯体构成亚簇,且类别内部各刺激间的细粒度相似结构也在两物种间高度对应。这表明灵长类 IT 可能共享兼具类别性与连续性的编码模式。RDM 方法也由此成为连接神经生理、人类脑成像与计算模型的重要比较框架。
研究背景
比较猴与人的高级视觉系统,既要知道哪些区域对物体有反应,也要知道它们怎样区分具体物体。传统跨物种成像比较主要依靠类别平均和空间激活位置,为早期视觉区及颞叶物体敏感区域的对应关系提供了线索。但把同类刺激平均后,一张脸与另一张脸、一只动物与另一只动物之间的差异就被抹去了;两个区域都偏好面孔,也不保证其内部对面孔实例的排列相同。与此同时,猴下颞叶群体研究已显示,自然物体的响应相似性可以形成类别层级,使跨物种比较进一步面对一个问题:这种结构在人类是否也存在,是否不仅共享大类边界,还保留相近的类内细节?
直接回答并不容易。猴脑通常以电极记录神经元,人脑则多以功能成像测量体素,两种信号的尺度、来源和取样方式不同;即使使用同一种方法,也难以在两个个体之间逐个对应神经元。若必须先建立精确空间映射,表征比较就会被这一无法满足的前提限制。本文采用的替代思路,是让共同观看的图片成为参照:先在每个系统内部测量任意两张图片引发的活动模式有多不同,再比较整套图片之间的距离结构。这样可以问两种系统是否强调相同的视觉区分,而无需假定某个人类体素等于某个猴神经元。同时,类别内部的距离是否仍对应,能够检验整体相似是否仅由少数大类分离驱动。
研究将同一组九十二张物体图片在人类成像和既有猴单细胞数据中的反应转换为表征相异矩阵,结合聚类、低维可视化以及早期视觉和计算模型对照,考察类别结构与连续实例信息的跨物种关系。它回应的是表征组织能否比较以及比较到何种程度,并非建立逐细胞同源关系。距离结构相似也不证明两物种使用相同回路、具有相同概念或表现出相同的识别行为。尤其是物种与测量方法在设计中同时变化,观察到的差异不能唯一归因于进化差异;有限图片集和有限模型对照也无法排除全部视觉特征解释。本文由此提供了一个明确的比较层面,使共同结构与未解释差异都能被量化,而不是只凭激活图的外观判断相似。
研究思路
整体设计有五个关键特征,环环相扣。第一,同一组 92 张孤立真实物体照片(含自然与人造非生物、人及非人动物的面孔与躯体)同时呈现给两物种,用完全不同的手段测 IT 活动——猴为钨电极逐一记录的 674 个细胞,人为四个被试的双侧 IT 高分辨率 fMRI(316 个对视觉物体响应最强的体素)。第二,刺激随机呈现,实验设计与分析都不预设任何分组,类别结构只能由数据自己"长出来"。第三,每个刺激作为独立条件估计响应模式,不做空间平滑或跨刺激平均。第四,分析对象是分布式响应模式中的信息而非激活峰值。第五,通过 RDM 在物种间、脑区间(早期视觉皮层 vs IT)以及与计算模型之间做定量比较——这便是 RSA 方法。
这一逻辑链的妙处在于把"比较"从空间问题转化为信息问题:RDM 以刺激为公共坐标系,于是电生理与 fMRI、猴脑与人脑的差距被同构化为两张 92×92 矩阵的相似度问题。围绕这张矩阵,作者安排了层层递进的三问:RDM 整体是否相似(图 1、图 3)?类别结构是否在无监督条件下自发涌现且两物种一致(图 2 的多维标度、图 4 的层次聚类)?类别效应是 IT 特有还是低层视觉就有(图 5、图 6 及模型对照)?
方法
猴子实验沿用 Kiani et al. (2007) 的数据:两只清醒猕猴做注视任务,92 张图(约 7° 视角)以 105 ms 呈现、零刺激间隔快速串行闪现(嵌在 1000 余张图的更大集合中),随机顺序,每位点平均重复 9±2 次;钨电极一次记录一个细胞,细胞位于前部 IT(猴 1 在右半球、猴 2 在左半球),共 674 个;每个细胞的响应取刺激呈现后 71 ms 起的 140 ms 窗内平均放电率。人类实验为 4 名被试的快速事件相关 fMRI(3T,体素 1.95×1.95×2 mm³,覆盖双侧 IT 与早期视觉皮层的 5 cm 厚 slab):每张图(2.9° 视角)注视点中央呈现 300 ms,每 run 恰好出现一次,被试持续注视并做注视点变色的颜色分辨任务(蓝/绿按键),以把注意从图像内容上移开;4 人各扫 2 个 session、每人 11–14 个 run,共 49 个 run(约 7 小时 24 分钟数据)。IT 感兴趣区用独立 run 的视觉响应性选出双侧各 316 个体素。
分析上,每对刺激的相异度取跨细胞(或跨体素)Pearson 相关的距离 1−r;RDM 以百分位着色便于目视。多维标度(multidimensional scaling,MDS)把 92 张图按响应相似性排进二维平面(不预设类别),两物种排布经 Procrustes 刚性对齐以便比对;"纤维流"(fiber-flow)可视化再以连线粗细标出各刺激跨物种定位的不一致程度。层次聚类用平均相异度作为合并准则,自下而上建树。类别边界效应(category-boundary effect)定义为跨"生物/非生物"边界的刺激对平均相异度与同类别对平均相异度之差(以百分位点计),显著性用刺激集 bootstrap 与刺激标签随机化两种检验交叉验证。低层与中层计算模型(CIELAB 彩色图、灰度图、剪影、颜色直方图、V1 模型、HMAX-C2)则以同样方式生成 RDM 供对照。
主要结果
-
两物种的 IT RDM 结构惊人一致(图 1):两张完全独立实验与分析流程产出的矩阵呈现高度相似的块状结构——生物与非生物之间的相异度普遍偏大,同类别内部偏小,面孔之间尤其小。这一匹配在视觉上即可辨认,且并非数据挑选的结果(体素与细胞的选择均与跨物种匹配无关)。
-
无监督排布与层次聚类自发涌现相同的类别层级(图 2、图 4):MDS 排布中,两物种都以"生物 vs 非生物"为全局分组,生物内部面孔与躯体各占一区,面孔在两物种中都形成特别紧致的簇(动物面孔虽与人类面孔视觉差异大仍归入面孔簇)。层次聚类树在两物种间也高度相似:顶层为生物/非生物,面孔与躯体为生物内部的亚簇(水果蔬菜归入非生物一侧);个别偏离常规类别的 placements 更可能源于 92 条件下响应估计的噪声。
-
相异度的逐对相关量化了物种匹配(图 3):全部 4186 个刺激对上猴-人相异度相关 r=0.49(p<0.0001,10000 次标签随机化);关键是这一相关在生物类内部(r=0.51)与非生物类内部(r=0.20)、跨边界对(r=0.19)都显著存在,且在人类图像内高达 r=0.66——说明簇内连续变化的范例信息并非噪声,而是两物种一致的"连续表征"。例外集中在小样本子集(人类面孔内 r=−0.05、动物面孔内 r=0.12、非人躯体内 r=0.12,均不显著),其中一项后续分析(图 S4)显示人类面孔之间的相异度在人类 IT 中显著大于猴 IT(p=0.009),提示每种 IT 也许更擅长区分同种面孔。
-
单刺激一致性约覆盖三分之二刺激(图 2B):单个刺激的跨物种一致性 r_i 显著者约占三分之二(p<0.05,多重比较校正后);一致性最低的两个刺激(茄子、人头背面)恰是事后访谈中被试唯一描述为"语义模糊"的两张图,提示 IT 表征不止反映视觉外观,还反映概念解释。
-
类别效应是 IT 的标志而非早期视觉的(图 5、图 6):类别边界效应在 IT 为 36 个百分位点(p<0.001),在早期视觉皮层仅 7%/5%/2%(分别定义于 224/1057/5000 个体素,5000 体素时已不显著),且 IT 显著大于早期视觉(p<0.0001);线性解码分析显示生物/非生物在 IT 可线性分离而早期视觉不可。但两区域并非无关:早期视觉与 IT 的相异度相关 r=0.38(p<0.0001)——早期视觉携带的视觉相似性信息延续到 IT,只是 IT 在此之上叠加了强烈的类别边界效应(跨边界分布仅沿 IT 轴偏移)。
-
低层与中层模型无法解释类别聚类(图 S6、S7):彩色图、灰度图、剪影、颜色直方图、V1 模型乃至中层复杂度的 HMAX-C2,其 RDM 与排布均不呈现 IT 式的类别簇。
图注解读
图 1 · 人猴 IT 的表征相异矩阵
原文图注:Figure 1. Representational Dissimilarity Matrices for Monkey and Human IT. For each pair of stimuli, each RDM (monkey, human) color codes the dissimilarity of the two response patterns elicited by the stimuli in IT. The dissimilarity measure is 1 − r (Pearson correlation across space). The color code reflects percentiles (see color bar) computed separately for each RDM (for 1 − r values and their histograms, see Figure 3A). The two RDMs are the product of completely separate experiments and analysis pipelines (data not selected to match). Human data are from 316 bilateral inferior temporal voxels (1.95 × 1.95 × 2 mm3) with the greatest visual-object response in an independent data set.
读法:矩阵行列均为 92 张刺激图,第 (i, j) 格的颜色编码图 i 与图 j 引发的 IT 响应模式之间的相异度(跨神经元/体素的 Pearson 相关距离 1−r),色标为每张矩阵内部计算的百分位,颜色越亮两图表征越远。两张矩阵左(猴)右(人)并排,肉眼可见几乎相同的深浅纹理——浅色的对角块即类别簇。务必记住图注强调的一点:两矩阵来自完全独立的实验与分析管线,体素与细胞的选择没有任何"为了匹配"的偏置。这张图支撑主要结果第 1 条,是全文所有定量分析的直觉底座。

图 2 · 按响应相似性排布刺激与跨物种"纤维流"
原文图注:Figure 2. Stimulus Arrangements Reflecting IT Response-Pattern Similarity in Monkey and Human and the Interspecies Relationship. (A) The experimental stimuli have been arranged such that their pairwise distances approximately reflect response-pattern similarity (multidimensional scaling, dissimilarity: 1 − Pearson r, criterion: metric stress). In each arrangement, images placed close together elicited similar response patterns. Images placed far apart elicited dissimilar response patterns. The arrangement is unsupervised: it does not presuppose any categorical structure. The two arrangements have been scaled to match the areas of their convex hulls and rigidly aligned for easier comparison (Procrustes alignment). The correlations between the
A 面板把 92 张图按响应模式相似性做 MDS 排进二维平面:排得近的图引发相似响应,排得远的引发相异响应,全程无监督、不预设类别。读图时先看全局分组——两物种的排布都干净地分出生物与非生物两半,面孔与躯体在生物一侧各占一隅;再看图注给出的量化指标:二维排布距离与高维相异度的相关,猴为 0.67(Pearson)/0.69(Spearman),人为 0.78/0.78,说明二维图没有过度失真。B 面板的纤维流可视化把两张排布并置、以"纤维"连接同一刺激的两处位置,纤维粗细正比于 (1−r_i)²(r_i 为该刺激的跨物种一致性)——绝大多数纤维细而直,意味着绝大多数刺激在两物种表征空间中的"邻里关系"一致;几根粗纤维则指出个别(如茄子)定位分歧的刺激。此图支撑主要结果第 2、4 条。

图 3 · 猴-人相异度的逐对相关
原文图注:Figure 3. Correlation of Representational Dissimilarities between Monkey and Human IT. (A) For each pair of stimuli, a dot is placed according to the IT response-pattern dissimilarity in monkey (horizontal axis) and human (vertical axis). As before, the dissimilarity between the two response patterns elicited by each stimulus pair is measured as 1 − r (Pearson correlation). Dot colors correspond to all pairs of stimuli (gray), pairs within the animate objects (green), pairs within the inanimate objects (cyan), and pairs crossing the animate-inanimate boundary (red). Marginal histograms of dissimilarities are shown for the three subsets of pairs using the same color code.
A 面板是核心散点图:每个点是一对刺激,横坐标为猴 IT 相异度、纵坐标为人 IT 相异度。整图相关 r=0.49;绿色(生物内)点云的相关 0.51、青色(非生物内)0.20、红色(跨生物-非生物边界)0.19——三个子集都显著大于零,这正是"类别内连续信息也跨物种一致"的直接证据。边缘直方图还显示红色(跨边界)分布整体右移,即跨类别对在两物种中都更相异。B 面板把同样的分析细化到各类别子集(人类图像内 r=0.66 最强),并把不显著的子集(人类面孔内 −0.05、动物面孔内 0.12)与样本量小、效应量也小的事实并置。此图支撑主要结果第 3 条。

图 4 · 层次聚类树:无监督涌现的类别层级
原文图注:Figure 4 shows hierarchical cluster trees computed for the IT response patterns in monkey and human. Unlike the unsupervised stimulus arrangements (Figure 2), hierarchical cluster analysis (Johnson, 1967) assumes the existence of some categorical structure, but it does not assume any particular grouping into categories. We find very similar cluster trees for both species. The top-level distinction is that between animate and inanimate objects. Faces and body parts form subclusters within the animate objects. Note that the clustering conforms closely, though not perfectly, to the these human-conventional categories.
(按:meta.json 中此条实为正文引述,正文实际图注为 "Figure 4. Hierarchical Clustering of IT Response Patterns. In order to assess whether IT response patterns form clusters corresponding to natural categories, we performed hierarchical cluster analysis for human (top) and monkey (bottom)... The vertical height of each horizontal link indicates the average response-pattern dissimilarity (the clustering criterion) between the stimuli of the two linked subclusters...",两者含义一致。)读法:每棵树自下而上从 92 个单图簇出发,逐步合并平均相异度最近的两个簇,横连线的高度即两子簇间的合并相异度(1−r),线越高合并越"勉强"。人(上)猴(下)两棵树形状高度相似:顶层分叉是生物 vs 非生物,生物枝内先分出面孔(红)与躯体(品红)亚簇,非生物枝为浅蓝。与 MDS(图 2)的互补在于:MDS 只保证类别占据连续区域,聚类才证明响应模式在表征空间中形成分立的簇(多峰分布)。此图支撑主要结果第 2 条,也把"IT 分类角色有限"这一旧疑虑推倒——类别结构无需类别标签即可从数据中读出。

图 5 · 早期视觉皮层 vs IT 的类别边界效应
原文图注:Figure 5. Early Visual Cortex and IT in the Human: Representational Dissimilarity Matrices and Category-Boundary Effects. (A) RDMs for human IT (top left, same as in Figure 1) and human early visual cortex (top right). As in Figure 1, the color code reflects percentiles (see color bar) computed separately for each RDM (for 1 − r values and their histograms, see Figure 6). The bar graph below each RDM shows the average dissimilarity (percentile of 1 − r) within the animates (green bars), within the inanimates (cyan bars), and for pairs crossing the category boundary (red bars). Error bars indicate the standard error of the mean estimated by bootstrap resampling of the stimulus set. We define the category-boundary effect as the difference (in percentile points) between the mean dissimilarity for between-animate-and-inanimate pairs and the mean dissimilarity for within-animate and within-inanimate pairs.
读法:左上为人 IT 的 RDM(同图 1),右上为早期视觉皮层的 RDM——后者的纹理明显更均匀,没有 IT 那种类别块状结构。每张 RDM 下方的条形图给出三类刺激对的平均相异度:绿(生物内)、青(非生物内)、红(跨界),"类别边界效应"即红条减去绿、青两条均值,数值标在条上方(n.s./*/**/***)。结果一目了然:IT 中红条显著高出(36 个百分位点,p<0.001),早期视觉中红条只高出 7%/5%/2%(随 ROI 定义为 224/1057/5000 个体素),5000 体素时已不显著;B 面板重复小/大两种早期视觉 ROI 定义以证稳健。此图支撑主要结果第 5 条的前半:类别性是 IT 而非早期视觉的属性。

图 6 · 表征连接:视觉相似性从早期视觉延续到 IT
原文图注:Figure 6. Representational Connectivity between Early Visual Cortex and IT in the Human. (A) For each pair of stimuli, we plot a dot with horizontal position reflecting early visual response-pattern dissimilarity and vertical position reflecting IT response-pattern dissimilarity. Scatter plots and correlation analyses (insets) show that pairs of stimuli eliciting more dissimilar response patterns in early visual cortex also tend to elicit more dissimilar response patterns in IT. This suggests that visual similarity as reflected in the early visual representation carries over into the IT representation. However, IT additionally exhibits a strong category-boundary effect: when a stimulus pair crosses the animate-inanimate boundary (red) the two response patterns tend to be more dissimilar than when both stimuli are from the same category (green, cyan).
读法:A 面板横轴换成了早期视觉皮层的相异度、纵轴仍是 IT 相异度,整体相关 r=0.38——沿对角拉长的点云说明早期视觉"看见的"形状相似性会传递到 IT。但关键信息在分布的形状:红色(跨生物-非生物边界)点云只沿纵轴(IT 方向)整体上移,横轴(早期视觉)不动;B 面板的示意椭球把这一点画得很清楚——视觉相似性效应为两区域共享(各分布均沿对角拉长),类别边界效应仅存在于 IT(红椭球垂直而非水平偏移)。由于所有刺激均以同一视网膜位置与尺寸呈现,早期视觉的相似性主要反映形状,因此结论可表述为:形状相似性信息延续到 IT,但 IT 在其上叠加了类别结构。C 面板以不同尺寸的早期视觉 ROI 复验,结论不变。此图支撑主要结果第 5 条的后半。

讨论
作者围绕四个核心问题展开讨论:两物种 IT 的响应模式按相似类别结构聚类;簇内范例信息在跨物种间保持一致,反映亚类区分与高阶视觉相似性;类别效应在 IT 显著涌现而在人类早期视觉皮层中微弱;低阶与中阶图像计算模型均无法重现这种类别结构。
讨论围绕三方面展开: 其一,与类别特异区(FFA、PPA 等)的关系:局部类别特异区的存在并不直接预测全脑群体表征会自发形成清晰的无监督类别聚类。剔除双侧 FFA 与 PPA 后核心聚类结果保持稳定,且猴侧记录位点并未刻意针对类别特异区。作者据此推论类别特异区可能是大范围类别敏感特征在皮层上的局部聚集,IT 的类别表征属于群体编码现象,并不要求单神经元呈现全或无的阶跃式响应。 其二,与快速分类行为的关系:实验设计采用极短图片呈现时间并设置无关注视任务以抑制自上而下的注意反馈,提示 IT 的类别结构可能主要由前馈计算驱动。这为人类超快速动物识别行为提供了表征基础,并将部分计算模型中假定发生在额叶的类别判定阶段前移到了 IT 皮层。 其三,与语义表征的关系:视觉特征可能不仅服务于区分外观,还参与推断非视觉属性。例如“茄子”与“人头背面”这两个语义歧义刺激在跨物种对应上表现出离散,与语义驱动的加工相容。作者同时指出研究局限:有限的 92 张刺激集无法穷尽特征空间,图像计算模型比对不能完全排除未测试的低阶特征解释,且物种差异与测量模态差异(单细胞放电 vs 血液动力学信号)在实验中相互交织。
一句话总结
该文确立了利用表征相异矩阵跨越测量模态与物种差异的量化比较范式,证实人与猕猴 IT 皮层在宏观类别划分与微观范例相似性上均具有高度一致的群体表征结构。