Crossmodal association of visual and haptic material properties of objects in the monkey ventral visual cortex

只看一眼物体的照片，我们就能对它的软硬、轻重做出相当准确的判断——这篇论文想回答的问题是：视觉皮层本来只接收视觉输入，它凭什么能"知道"这些触觉属性？作者让两只猕猴用两个月时间摆弄由九种材料制成的真实物体（只看和摸，不做任何辨别训练），然后在接触前、后分别扫描它们看这些物体图像时的 fMRI 活动，用表征相似性分析比较两个时间点的"表征空间"。结果发现，动过手之后，后部下颞叶皮层的活动模式才开始真正反映物体的材质属性——这是第一份直接的神经生理学证据，说明视觉皮层里"超模态"的对象知识可以仅靠日常式的视觉—触觉接触。或“视触觉接触”。、以无监督的方式学进来，因此特别值得关心物体表征与多感觉整合的读者一读。

研究背景

腹侧视觉通路通常被认为是"纯视觉"的，但此前作者团队和人类影像学研究都发现，无论是猕猴的下颞叶皮层还是人的腹侧枕颞皮层，其活动模式不仅能反映物体的视觉外观（如光泽），还能反映触摸才知道的属性（粗糙度、硬度、重量等）[3–7]。这就引出一个根本性的难题：视觉皮层不直接接收体感输入，那些"无法通过视觉直接获得"的知识是从哪里来的？当时已有的猴单细胞和人类 fMRI 研究多止步于"高级视觉区编码了跨模态信息"这一现象层面，对信息如何进入视觉皮层几乎没有因果性的检验；而已知的视觉经验效应（如刺激熟悉化改变 IT 神经元反应）又都是"视觉内部"的学习，不能解释非视觉属性的表征。

要回答这个问题，最直接的办法是 cortical cause-and-effect 式的纵向对照：让没有任何相关经验的个体获得纯粹的"看+摸"经历，检验其视觉皮层表征是否随之改变。缺口正在于此——以前的猴研究要么只测接触后的状态（ snapshots），要么训练本身就带有辨别任务、难以把"任务要求"与"被动接触"区分开。作者选择用"最简经验"设计：对象只是被观看和触摸，不要求任何记忆或辨别，这样一旦表征发生改变，就只能归因于跨模态接触本身，从而把无监督的联合学习（unsupervised learning of crossmodal associations）与训练导致的视觉学习剥离开。

研究思路

作者的总体策略是"经验干预 + 表征几何读出"：以两个月的眼—手接触为干预变量，以表征相似性分析（representational similarity analysis, RSA）为读出手段，在多个视觉区之间做前后对照。逻辑链分三步。第一步，先看各视觉区在接触前后的神经表征非相似性矩阵（representational dissimilarity matrix, RDM）是否稳定：V1–V4 应当稳定（作为阴性对照），而若 PIT 的表征变了，就说明变化与经验有关而非测量噪声。第二步，把经验后的神经 RDM 与人类被试给出的材质 RDM（material RDM，即九类材料在心理评定空间中的相互距离）做相关，检验表征"内容"是否在变化中变得与材质属性一致。第三步，把材质 RDM 拆成"视觉形容词"和"非视觉形容词"两种子 RDM，并请蒙眼被试做纯触觉评定得到"触觉估计 RDM"，以检验表征变化究竟是否涉及触觉特异性信息。

之所以选择这套设计，还因为它内置了两类操控：一是图像集 A（被摸过的实物照片）与图像集 B（同类材料、从未被摸过的新样本照片）的对照，可以检验经验效应是否按类别泛化；二是只用中央注视任务的 fMRI 阻断设计，避免任何自上而下的任务需求污染。整个分析假定人与猴对这些日常材料有跨物种通用的视触觉感受（作者引用了卷尾猴与人材料分类一致性等证据来支持这一假设），这使人类的评定结果可以被拿来标签猕猴的表征空间。

方法

被试为两只猕猴；除非补充材料明确报告，否则不要添加成年、性别或具体种属。行为经验阶段：用 36 根杆状实物（直径 17.7–28.0 mm，材质分金属、玻璃、陶瓷、石材、树皮、木材、皮革、织物、皮毛九类，每类 4 个样本）做简单任务——先注视物体顶端，再伸手抓握并拉动以获得奖励（图 1A）；每只猴每天用 9 个物体（每类 1 个，各约 30 次试验），共 32–44 个训练日，跨约两个月。任务不要求辨别或记忆任何视觉/触觉属性，属典型的"被动"跨模态接触。fMRI 阶段：在经验前和经验后分别进行了fMRI测量；每个图像集在每个阶段包含40个扫描run。，扫描时观看 36 物体照片（集 A）与另一批同类别新样本照片（集 B），呈现为九类材料的组块设计（每块约 15 s，交替插入纯注视块），图像在 9.2°×9.2° 中央视野内呈现 500 ms、试次间隔大于 1000 ms，猴完成中央注视任务（图 1B）。作者的较早研究[3]已确定 V4 和 PIT 编码材质，故选定 V1、V2、V3、V4、PIT 五个 ROI，每侧半球取视觉反应最强的 500 个体素（用独立数据选定，避免与经验后的数据重叠）。

分析核心是神经 RDM：对每个 ROI，先以体素级广义线性模型估计每个材料类别的活动模式（beta 值），再以类别对之间的欧氏距离度量非相似性，两个猴的四侧半球平均得到群组 RDM。材质 RDM 由 12 名人类被试观看同样的图像、用 12 个双极形容词量表（哑光—光亮、滑—糙、软—硬、轻—重等）评定后按类别对计算距离得到；非视觉部分则用剔除 3 个纯视觉形容词对后的量表做"视觉估计的非视觉 RDM"。为排除"视觉想象不能准确预测真实触感"的疑虑，作者另请 12 名蒙眼被试纯凭触摸 36 个实物、用 9 个量表评定，得到"触觉估计 RDM"。显著性用单尾置换检验（permutation test）评估，关键结果另以最大统计量法做多重比较校正。

主要结果

1. 视触觉经验改变了高腹侧区的表征，而早期视觉区保持稳定。经验前后神经 RDM 的排序相关在 V1、V2、V4 都很高（r > 0.554，p < 0.005，单尾置换检验），说明这些区表征稳定且测量可靠；但 PIT（集 A、集 B 均如此）与 V3（仅集 A）在经验后发生了无法用视觉输入解释的变化（图 2D）。

2. "尚未经验时 PIT 不编码材质、经验后明确编码"是本文的核心发现。经验前 PIT 的神经 RDM 与材质 RDM 无显著相关（r = 0.114，p = 0.272），经验后跃升至高度显著（r = 0.551，p = 0.0008；多重比较校正后 p = 0.021），且前后相关差异显著（p = 0.004，自助检验）；V4 在两个时间点均与材质 RDM 显著相关（经验前 r = 0.404、经验后 r = 0.421），说明其材质表征相对稳定（图 3C、3D）。

3. 经验引入的正是非视觉（触觉）信息。经验后 PIT 与视觉、非视觉子 RDM 均显著相关（视觉 r = 0.562，p = 0.003；非视觉 r = 0.448，p = 0.003）；V4 在经验前只与视觉子 RDM 相关（r = 0.586，p = 0.008），经验后新获得了与"非视觉"子 RDM 的显著相关（r = 0.389，p = 0.020）。用蒙眼被试的触觉评定构造的触觉估计 RDM 得到同样结论（PIT 经验后 r = 0.502，p = 0.001；相关性显著高于经验前），PIT 的效应很难被"视觉经验单独"解释（图 4A、4B）。

4. 经验效应以样本为单位、不向同类新样本泛化。从未被触摸过的set B中视觉RDM相关没有随经验显著增加（V4和PIT的前后变化检验分别为p=0.648和0.383）；其中V4与视觉RDM在经验前后均有显著相关。，只有与非视觉 RDM 的相关显著上升（V4 p = 0.004，PIT p = 0.035）。作者据此判断学习是 exemplar-based（样本特异）而非 category-based（类别泛化）的，并提出"样本量不足导致过拟合"式解释（图 4C）。

图注解读

图 1 · 实验设计与刺激材料

原文图注：Figure 1. Experimental Design (A) Rod-shaped, real-object stimuli used for the monkey behavioral task. The surfaces of the objects (diameter 17.7–28.0 mm) were made from nine categories of materials (four exemplars per category). The inset shows an example scene in which a monkey is grasping a glass object. The monkeys first had to fixate on the top of the object and then to reach for, grasp, and pull the object with their hands. ……

解读：这张图交代了整个实验的双轨设计。A 面板列出九类材料（金属 Me、陶瓷 Ce、玻璃 Gl、石材 St、树皮 Ba、木材 Wo、皮革 Le、织物 Fa、皮毛 Fu）的杆状实物及"注视—抓握—拉动"任务示意：猴子先钉住物体顶端再动手，全程无辨别要求，这句"typically 30 trials for each object / 32–44 sessions across 2 months"界定了干预的剂量。B 面板是 fMRI 呈现用的两组照片——集 A 是被摸过的那 36 件的图像，集 B 是同类别四个从未接触的新样本，这是后面检验"泛化与否"的关键道具；图像在中央 9.2°×9.2° 视野内呈现（物体宽 2.2°–3.5°），500 ms、间隔大于 1000 ms。读懂此图才能理解：后文所有"前后变化"都发生在视觉输入完全相同的前提下，差异只能来自两个月的视触觉经验。

图 2 · 经验前后神经表征的稳定性对比

原文图注：Figure 2. Comparison between Neural Representations before and after Experience (A) Distributions of voxels used to analyze the neural representation of set A after experience (V1: green; V2: cyan; V3: blue; V4: purple; PIT: red). Each of the five ROIs contained the 500 most visually responsive voxels per hemisphere, ……

解读：A 面板是五个 ROI 的体素分布图（以色阶表示四个半球的重叠数），确认分析对象确实是传统意义上的纯视觉区。B 面板给出一个实例——集 A 经验后 V1 的神经 RDM（色阶越亮代表两类材料活动模式差异越大）。C 面板把 V1 经验前后的 RDM 逐对散点比较，r = 0.871 的强相关直观展示"低级区表征前后几乎不变"。真正要读的是 D 面板的条形图：黄色为集 A、蓝色为集 B，五组条分别对应五个 ROI 的前后相关系数，星号标出显著偏离"完全相同"的区。结论一目了然——V1、V2、V4 高度稳定（r > 0.554），PIT 与 V3 显著偏离，支持正文第一条结论，也等于替所有后续分析做了"测量可靠"的背书。

图 3 · 神经表征与材质属性的相似性

原文图注：Figure 3. Representational Similarities between Neural Activities and the Material Properties of Objects (A) Scatterplot for 72 images (set A: filled symbols; set B: open symbols) in a two-dimensional space derived from MDS analysis (nonmetric, stress 0.096 for the two dimensions) of visual ratings of material properties by human participants. ……

解读：这张图建立了"以人类评定为基准"的参照系。A 面板用人类被试的视觉评定做二维 MDS（多维缩放），九类材料在平面上聚成易于分辨的簇，说明材质判断在人类知觉空间里组织良好。B 面板把评定值换成 9×9 的材质 RDM。关键的 C 面板是 PIT 的神经 RDM 对材质 RDM 的散点图：经验前一团散乱（r = 0.114）、经验后点整体落在对角线附近（r = 0.551），两条虚线间的巨大反差就是全文的"before/after"故事。D 面板汇总五个 ROI 经验前（绿）与经验后（红）的同种相关：只有 PIT 从无到有跨过显著性门槛，V4 前后都显著但无显著变化，V1–V3 均无。这支撑第二条结论，即材质表征的"习得"集中在 PIT。

图 4 · 视觉与非视觉成分在 V4 和 PIT 中的分离

原文图注：Figure 4. Representation of Visual and Non-visual Material Properties in V4 and the PIT (A) Visual and non-visual material RDMs estimated from humans' visual rating data for set A (left and middle), and the haptically estimated non-visual material RDM for set A (right). ……

解读：A 面板并列三张参照矩阵：从视觉形容词估出的"视觉 RDM"、剔除视觉形容词后的"非视觉 RDM"、以及蒙眼被试纯触摸评定的"触觉估计 RDM"，三者互为印证。B 面板是集 A 的结果条形图：浅蓝、绿、黄三组条分别对应与三种 RDM 的相关，深蓝条是原来全套形容词的相关以便对照。读图要点在于"经验前只有浅蓝条抬升、经验后绿色与黄色条也抬起来"——尤其是 PIT 与触觉估计 RDM 的相关在经验后达到 r = 0.502 且显著高于经验前，这正是"经验引入触觉信息"这一结论的定海神针。C 面板对集 B 做同样分析：视觉相关没能立起来（p = 0.648 与 0.383），只有非视觉相关显著增加，说明效应没有按类别迁移到新样本，支撑第四条"样本特异学习"的结论。

讨论

作者把发现放在"超模态表征"（supramodal representation）的传统叙事里：先前已知猴的视触多感觉神经元集中在额叶、顶叶和上颞区，腹侧视觉皮层对触觉刺激的反应几乎无人报道；本文与作者 2014 年的工作一起证明，PIT 可以对纯视觉呈现的物体携带触觉相关信息，与人类腹侧枕颞皮层编码非视觉属性的证据相互呼应。作者强调这是第一份直接的神经生理学证据，说明表征可由"重复地看和摸"这种无监督的统计学习塑造——因为视觉图像本身富含材质信息（计算机视觉已能从图像预测粗糙度、硬度），皮层只需学习视觉特征与非视觉特征的共现统计即可；由于体感区到 PIT 并无直接通路，这一学习可能借道顶叶和内侧颞叶，通过修改它们对 PIT 的反馈影响或 V4→PIT 的前馈变换实现。作者同时坦承若干局限：一是与 2014 年研究"经验前 PIT 即编码材质"的矛盾，作者归因于本次样本非典型（如表面修整石材）、且细杆轮廓掩盖了表面特征；二是效应不泛化到同类样本，作者以"过拟合"解释，但承认需要更大样本量验证；三是 V3 所见的变化可能与 3D 形状表征及其与顶叶动作网络的联系有关，文中未详述确切机制。

一句话总结

以我自己的理解来概括：这篇论文把"视觉皮层为什么懂触觉"这个玄学问题变成了一个可操作的学习问题——两个月不含任何任务的看加摸，就足以让 PIT 的表征空间长出与人类触觉评定对齐的维度；效应锁定在摸过的具体样本上、甚至都没能泛化到同类新样本，这恰是"统计共现学习"最朴素的签名。值得一提的是，"不泛化"在作者笔下是过拟合、在批评者口中也许就是经验剂量太小的另一种说法，这一分歧本身就是后续研究最好的切入点。