IT / 文献库

PAPER 120 / CLOSE READING

Crossmodal association of visual and haptic material properties of objects in the monkey ventral visual cortex

语义审核:fail · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 实验设计与刺激材料
    2. 图 2 · 经验前后神经表征的稳定性对比
    3. 图 3 · 神经表征与材质属性的相似性
    4. 图 4 · 视觉与非视觉成分在 V4 和 PIT 中的分离
  6. 讨论
  7. 一句话总结

人类仅凭视觉观察物体照片即可推断软硬、粗糙度等触觉属性。该研究探讨视觉皮层如何在缺乏直接触觉输入的条件下表征这些非视觉属性。作者让两只猕猴在两个月内接触九种材质制成的实物(仅涉及抓握与拉动,无辨别分类任务),并在接触前后分别采集观看物体图片时的 fMRI 活动,利用表征相似性分析(RSA)比较表征空间的变化。结果显示,经过视触经验后,后部下颞叶皮层(PIT)的神经表征模式开始与物体材质属性显著相关。

研究背景

物体识别通常被放在腹侧视觉通路中讨论,但人看到木材、金属或织物时,获得的并不只是轮廓、颜色和光泽,还会预期其硬度、重量及触感。此前的猴下颞皮层和人腹侧枕颞皮层研究已经发现,视觉诱发的活动模式可与这些非视觉属性相关。这使“视觉区表示什么”进一步变成“这些属性如何进入视觉表征”的学习问题。既有研究关于刺激熟悉化和视觉训练的证据,说明下颞皮层具有经验可塑性,却主要涉及视觉内部的变化,不能直接交代反复观看与触摸同一物体是否会建立跨感觉关联,也不能说明日常接触是否足以产生这种改变。

困难在于,接触后的单次测量无法还原表征的形成过程,而专门训练材料辨别又会把感觉经验、任务策略和奖励要求混在一起。要把问题推进到学习过程,就需要比较同一个体接触前后的视觉反应,并区分学会某件物体的属性与获得整类材料知识。本文选择九类材料制成的实物,让猴经历持续的观看、抓握和拉动,但不要求判断材料或记忆属性;因此,所谓无监督学习是指没有材料分类的教学要求,并不意味着动物完全没有动作任务或奖励。另设同类别而未接触过的新样本,也使研究能够检验经验效应是否超出熟悉的具体对象,避免将单个样本的学习直接称为类别表征。

作者通过两只猕猴在接触前后的功能磁共振测量,比较早期视觉区与后部下颞皮层的表征关系,再用人类视觉及蒙眼触觉评定构成的相似性结构解释变化的内容。这样可以检验:仅看照片时的神经活动,是否在经验后更贴近可由触摸获得的材料属性,以及这种联系能否迁移至新样本。纵向设计比单次相关更接近学习机制,但并不把所有变化唯一归因于触觉,也未直接测定跨区信息传递的通路。人类评定能否充分代表猴的材料知觉仍是解释前提,有限动物和样本量也限制外推。研究所回应的是特定视触觉经验对视觉表征的塑造,而非证明腹侧皮层已形成普遍、完全独立于感觉模态的材料知识。

研究思路

作者的研究策略是结合行为经验干预与表征相似性分析(RSA),在多个视觉皮层区域对比经验前后的变化。具体分析分为三步:第一步,检验各视觉区在经验前后的神经非相似性矩阵(RDM)稳定性,以 V1–V4 作为对照检验测量可靠性,评估 PIT 的表征变异。第二步,将经验后的神经 RDM 与人类被试评定构建的材质 RDM(九类材料在知觉空间中的距离)进行相关分析,评估表征模式与材质属性的对应程度。第三步,将材质 RDM 分解为视觉形容词与非视觉形容词子矩阵,并引入蒙眼被试的触觉估计 RDM,检验神经表征变化是否包含触觉相关信息。实验还包含被接触过的实物照片(集 A)与同类未接触新样本照片(集 B)的对比,以评估经验效应的泛化范围。

方法

被试为两只成年猕猴。行为经验阶段:用 36 根杆状实物(直径 17.7–28.0 mm,材质分金属、玻璃、陶瓷、石材、树皮、木材、皮革、织物、皮毛九类,每类 4 个样本)做简单任务——先注视物体顶端,再伸手抓握并拉动以获得奖励(图 1A);每只猴每天用 9 个物体(每类 1 个,各约 30 次试验),共 32–44 个训练日,跨约两个月。任务不要求辨别或记忆任何视觉/触觉属性,属典型的"被动"跨模态接触。fMRI 阶段:接触前、后各扫描一轮,扫描时观看 36 物体照片(集 A)与另一批同类别新样本照片(集 B),呈现为九类材料的组块设计(每块约 15 s,交替插入纯注视块),图像在 9.2°×9.2° 中央视野内呈现 500 ms、试次间隔大于 1000 ms,猴完成中央注视任务(图 1B)。作者的较早研究[3]已确定 V4 和 PIT 编码材质,故选定 V1、V2、V3、V4、PIT 五个 ROI,每侧半球取视觉反应最强的 500 个体素(用独立数据选定,避免与经验后的数据重叠)。

分析核心是神经 RDM:对每个 ROI,先以体素级广义线性模型估计每个材料类别的活动模式(beta 值),再以类别对之间的欧氏距离度量非相似性,两个猴的四侧半球平均得到群组 RDM。材质 RDM 由 12 名人类被试观看同样的图像、用 12 个双极形容词量表(哑光—光亮、滑—糙、软—硬、轻—重等)评定后按类别对计算距离得到;非视觉部分则用剔除 3 个纯视觉形容词对后的量表做"视觉估计的非视觉 RDM"。为排除"视觉想象不能准确预测真实触感"的疑虑,作者另请 12 名蒙眼被试纯凭触摸 36 个实物、用 9 个量表评定,得到"触觉估计 RDM"。显著性用单尾置换检验(permutation test)评估,关键结果另以最大统计量法做多重比较校正。

主要结果

  1. 视触觉经验改变了高腹侧区的表征,而早期视觉区保持稳定。经验前后神经 RDM 的排序相关在 V1、V2、V4 都很高(r > 0.554,p < 0.005,单尾置换检验),说明这些区表征稳定且测量可靠;但 PIT(集 A、集 B 均如此)与 V3(仅集 A)在经验后发生了无法用视觉输入解释的变化(图 2D)。

  2. "尚未经验时 PIT 不编码材质、经验后明确编码"是本文的核心发现。经验前 PIT 的神经 RDM 与材质 RDM 无显著相关(r = 0.114,p = 0.272),经验后跃升至高度显著(r = 0.551,p = 0.0008;多重比较校正后 p = 0.021),且前后相关差异显著(p = 0.004,自助检验);V4 在两个时间点均与材质 RDM 显著相关(经验前 r = 0.404、经验后 r = 0.421),说明其材质表征相对稳定(图 3C、3D)。

  3. 经验引入的正是非视觉(触觉)信息。经验后 PIT 与视觉、非视觉子 RDM 均显著相关(视觉 r = 0.562,p = 0.003;非视觉 r = 0.448,p = 0.003);V4 在经验前只与视觉子 RDM 相关(r = 0.586,p = 0.008),经验后新获得了与"非视觉"子 RDM 的显著相关(r = 0.389,p = 0.020)。用蒙眼被试的触觉评定构造的触觉估计 RDM 得到同样结论(PIT 经验后 r = 0.502,p = 0.001;相关性显著高于经验前),PIT 的效应很难被"视觉经验单独"解释(图 4A、4B)。

  4. 经验效应以样本为单位、不向同类新样本泛化。从未被触摸过的集 B 在经验后与视觉材质 RDM 无显著相关(p = 0.648 与 0.383),只有与非视觉 RDM 的相关显著上升(V4 p = 0.004,PIT p = 0.035)。作者据此判断学习是 exemplar-based(样本特异)而非 category-based(类别泛化)的,并提出"样本量不足导致过拟合"式解释(图 4C)。

图注解读

图 1 · 实验设计与刺激材料

原文图注:Figure 1. Experimental Design (A) Rod-shaped, real-object stimuli used for the monkey behavioral task. The surfaces of the objects (diameter 17.7–28.0 mm) were made from nine categories of materials (four exemplars per category). The inset shows an example scene in which a monkey is grasping a glass object. The monkeys first had to fixate on the top of the object and then to reach for, grasp, and pull the object with their hands. ……

解读:这张图交代了整个实验的双轨设计。A 面板列出九类材料(金属 Me、陶瓷 Ce、玻璃 Gl、石材 St、树皮 Ba、木材 Wo、皮革 Le、织物 Fa、皮毛 Fu)的杆状实物及"注视—抓握—拉动"任务示意:猴子先钉住物体顶端再动手,全程无辨别要求,这句"typically 30 trials for each object / 32–44 sessions across 2 months"界定了干预的剂量。B 面板是 fMRI 呈现用的两组照片——集 A 是被摸过的那 36 件的图像,集 B 是同类别四个从未接触的新样本,这是后面检验"泛化与否"的关键道具;图像在中央 9.2°×9.2° 视野内呈现(物体宽 2.2°–3.5°),500 ms、间隔大于 1000 ms。读懂此图才能理解:后文所有"前后变化"都发生在视觉输入完全相同的前提下,差异只能来自两个月的视触觉经验。

Figure 1

图 2 · 经验前后神经表征的稳定性对比

原文图注:Figure 2. Comparison between Neural Representations before and after Experience (A) Distributions of voxels used to analyze the neural representation of set A after experience (V1: green; V2: cyan; V3: blue; V4: purple; PIT: red). Each of the five ROIs contained the 500 most visually responsive voxels per hemisphere, ……

解读:A 面板是五个 ROI 的体素分布图(以色阶表示四个半球的重叠数),确认分析对象确实是传统意义上的纯视觉区。B 面板给出一个实例——集 A 经验后 V1 的神经 RDM(色阶越亮代表两类材料活动模式差异越大)。C 面板把 V1 经验前后的 RDM 逐对散点比较,r = 0.871 的强相关直观展示"低级区表征前后几乎不变"。真正要读的是 D 面板的条形图:黄色为集 A、蓝色为集 B,五组条分别对应五个 ROI 的前后相关系数,星号标出显著偏离"完全相同"的区。结论一目了然——V1、V2、V4 高度稳定(r > 0.554),PIT 与 V3 显著偏离,支持正文第一条结论,也等于替所有后续分析做了"测量可靠"的背书。

Figure 2

图 3 · 神经表征与材质属性的相似性

原文图注:Figure 3. Representational Similarities between Neural Activities and the Material Properties of Objects (A) Scatterplot for 72 images (set A: filled symbols; set B: open symbols) in a two-dimensional space derived from MDS analysis (nonmetric, stress 0.096 for the two dimensions) of visual ratings of material properties by human participants. ……

解读:这张图建立了"以人类评定为基准"的参照系。A 面板用人类被试的视觉评定做二维 MDS(多维缩放),九类材料在平面上聚成易于分辨的簇,说明材质判断在人类知觉空间里组织良好。B 面板把评定值换成 9×9 的材质 RDM。关键的 C 面板是 PIT 的神经 RDM 对材质 RDM 的散点图:经验前一团散乱(r = 0.114)、经验后点整体落在对角线附近(r = 0.551),两条虚线间的巨大反差就是全文的"before/after"故事。D 面板汇总五个 ROI 经验前(绿)与经验后(红)的同种相关:只有 PIT 从无到有跨过显著性门槛,V4 前后都显著但无显著变化,V1–V3 均无。这支撑第二条结论,即材质表征的"习得"集中在 PIT。

Figure 3

图 4 · 视觉与非视觉成分在 V4 和 PIT 中的分离

原文图注:Figure 4. Representation of Visual and Non-visual Material Properties in V4 and the PIT (A) Visual and non-visual material RDMs estimated from humans' visual rating data for set A (left and middle), and the haptically estimated non-visual material RDM for set A (right). ……

解读:A 面板并列三张参照矩阵:从视觉形容词估出的"视觉 RDM"、剔除视觉形容词后的"非视觉 RDM"、以及蒙眼被试纯触摸评定的"触觉估计 RDM",三者互为印证。B 面板是集 A 的结果条形图:浅蓝、绿、黄三组条分别对应与三种 RDM 的相关,深蓝条是原来全套形容词的相关以便对照。读图要点在于"经验前只有浅蓝条抬升、经验后绿色与黄色条也抬起来"——尤其是 PIT 与触觉估计 RDM 的相关在经验后达到 r = 0.502 且显著高于经验前,这正是"经验引入触觉信息"这一结论的定海神针。C 面板对集 B 做同样分析:视觉相关没能立起来(p = 0.648 与 0.383),只有非视觉相关显著增加,说明效应没有按类别迁移到新样本,支撑第四条"样本特异学习"的结论。

Figure 4

讨论

作者把发现放在"超模态表征"(supramodal representation)的传统叙事里:先前已知猴的视触多感觉神经元集中在额叶、顶叶和上颞区,腹侧视觉皮层对触觉刺激的反应几乎无人报道;本文与作者 2014 年的工作一起证明,PIT 可以对纯视觉呈现的物体携带触觉相关信息,与人类腹侧枕颞皮层编码非视觉属性的证据相互呼应。作者强调这是第一份直接的神经生理学证据,说明表征可由"重复地看和摸"这种无监督的统计学习塑造——因为视觉图像本身富含材质信息(计算机视觉已能从图像预测粗糙度、硬度),皮层只需学习视觉特征与非视觉特征的共现统计即可;由于体感区到 PIT 并无直接通路,这一学习可能借道顶叶和内侧颞叶,通过修改它们对 PIT 的反馈影响或 V4→PIT 的前馈变换实现。作者同时坦承若干局限:一是与 2014 年研究"经验前 PIT 即编码材质"的矛盾,作者归因于本次样本非典型(如表面修整石材)、且细杆轮廓掩盖了表面特征;二是效应不泛化到同类样本,作者以"过拟合"解释,但承认需要更大样本量验证;三是 V3 所见的变化可能与 3D 形状表征及其与顶叶动作网络的联系有关,文中未详述确切机制。

一句话总结

该研究表明,在无显式辨别任务的视触接触后,猴 PIT 表征空间出现了与材料触觉评定相关的结构变化;效应主要保留在接触过的具体样本上,未显著泛化至同类新样本,为腹侧通路基于统计共现学习整合跨模态特征提供了实验证据。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。