IT / 文献库

PAPER 095 / CLOSE READING

More than the face: representations of bodies in the inferior temporal cortex

语义审核:pass · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 猕猴 IT 解剖连接与 STS 行走者神经元
    2. 图 2 · 人脑身体选择区与猴身体区块的对应
    3. 图 3 · 身体区块神经元的刺激选择性与跨变换解码
  6. 讨论
  7. 一句话总结
  8. 审校与证据追溯 (Verification & Evidence)
    1. 图表审计结果
    2. 关键事实与局限性声明

一句话定位:这是 Rufin Vogels 在 Annual Review of Vision Science 上对"身体视觉加工"神经基础的系统回顾,聚焦猕猴颞叶视觉皮层,把早期 STS 单细胞记录、人与猴 fMRI 身体区定位、以及 fMRI 引导的身体区块(body patches)单细胞工作串成一条从解剖到编码原则的完整线索。作为面孔加工文献海量增长背景下的"另一半"综述,它的核心论点是:身体表征主要由形状特征驱动,且从后到前呈现与面孔网络平行的视点耐受化梯度——这是理解 IT 高层级物体编码一般原则的关键样本。

研究背景

面孔感知与加工的文献浩如烟海,但身体同样是对人类与非人灵长类极具生物学意义的刺激:同种与其他动物身体的视觉加工服务于大量社会、情感与认知功能——体形是区分物种的重要线索,身体帮助在复杂场景中检测人物,面孔不可见时身体也被人用于辨认个体;猕猴能用身体部位识别熟悉同类、判断性别,身体姿态是情绪表达的重要成分,猴子还用身体展示(臣服、支配、亲和、社交游戏)学习其他个体的支配关系。尽管如此,与面孔相比,身体视觉加工的神经基础研究明显不足。

综述写作时已知的是:早期单细胞记录提示颞叶视觉皮层( inferior temporal cortex, IT)与上颞沟(superior temporal sulcus, STS)沟底及背岸存在身体与视觉动作的表征;随后人与猴的 fMRI 都发现了被身体强烈激活的颞-枕叶区域。缺口在于三点:这些 fMRI 身体选择区的单细胞表征内容是什么;身体区块之间沿 IT 前后轴的组织原则是否与面区网络共享;猴的身体区与人 EBA/FBA 的同源关系如何。本综述即围绕这三点组织证据。

研究思路

作者的策略是"以猴为主轴、以人为对照"的叙事链:先给出猕猴 IT 的解剖底图与 STS 背岸(多模态、运动选择、大感受野)与 IT(含 STS 腹岸)的功能分野,作为后续所有定位讨论的坐标系;然后按时间顺序回顾 fMRI 出现前的单细胞研究——它们随机瞄准 IT,却在 STS 背岸率先发现"行走者"神经元,说明动作表征先于类别区概念进入视野;接着引入人脑 fMRI 发现的 EBA/FBA/STS 身体区,再引入猴 fMRI 定位出的身体区块,最后落到本文的实验核心——用 fMRI 定位引导的单细胞记录直接询问区块内神经元的刺激选择性。这条逻辑链的设计用意很明确:只有把 fMRI 的毫米级定位与单细胞的毫秒级编码结合起来,才能回答"fMRI 定义的身体区到底代表什么"这个两级方法各自的盲区问题,这一策略此前已在面区网络(Hesse & Tsao 2020)中被证明有效。

方法

这是一篇叙述性综述,综合了两类灵长类证据。猕猴方面:fMRI(含使用单晶氧化铁纳米颗粒造影剂的 block 设计定位,无头猴体对面孔与人造物的对照)定位 MSB(middle STS body)、ASB(anterior STS body)与 AVB(anterior ventral body)三个身体区块;在 MSB/ASB(以及 Bao et al. 2020 的 AVB)内做 fMRI 引导的单细胞记录。,刺激包括真实行走者、运动捕捉数据驱动的阴影圆柱代理(跑台式行走,消除平移分量)、点光显示(point-light display)、100 张图像集(猴脸、人脸、无头猴体、无头人体、哺乳动物、鸟类、Mooney 雕塑、果蔬、人造物各若干)、剪影版本、以及 bubbles 技术(随机高斯孔径呈现图像)。分析手段包括与孔径位置的逆相关、按反应排序后的群体平均、支持向量机加六折交叉验证的群体解码(身份/姿态/视点)、以及基于 AlexNet 深层激活做 PCA 构建的参数化物体空间(Bao 等,2020);另有电微刺激联合 fMRI 检验区块间连接。人类方面:以身体-物体对照的 fMRI 定位 EBA 与 FBA,辅以 RSA(representational similarity analysis)、MVPA、经颅磁刺激与静息态连接研究。综述只把组间有显著差异的发现作为确定结论呈现。

主要结果

  1. 早期单细胞研究确立了动作与身体的颞叶表征:STS 背岸存在对行走者选择性反应的神经元,部分对行走方向与朝向双选择(整合运动与形状线索,图 1b);换成生物运动点光显示后只有极少数神经元保留选择性,提示绝大多数需要形状特征;更靠前的 STS 神经元以行为者为中心的参考系编码行走方向;但真实行走者的平移分量可能混淆了方向选择性,用跑台式圆柱代理重测后发现朝向编码强、前后行走方向编码弱,多数神经元对静帧的反应不亚于动态序列(Vangeneugden 等,2011)。
  2. 两物种均存在粗尺度的身体选择性区域:人类为 EBA(外侧枕颞皮层)、FBA(梭状回,紧邻 FFA)与 STS 身体区;在区块定位处补「背岸身体激活不稳定且对面孔同样反应(Jastorff et al. 2012),作者推测或与静态定位刺激有关」。,且身体区块总是紧邻面区(MSB 近 ML 面区、ASB 近 AL 面区、AVB 近 AM 面区),补一句「微刺激-fMRI 未诱发 IT 外激活,但作者注明该实验在麻醉猴上进行,此负结果需谨慎解读」。、与面区网络仅弱重叠(Premereur 等,2016)(图 2)。
  3. 身体区块不是"语义身体探测器":单细胞图像选择性高度异质(图 3a)——单个 MSB/ASB 神经元只对部分身体图像有反应、也可能对非身体图像反应良好;群体平均的"身体偏好"是异质单元平均出来的结果。bubbles 逆相关显示 MSB 神经元对四肢、弯曲轮廓与躯干片段反应,极少对完整身体反应;有效特征同样见于非身体图像(如钳子的"腿")。对剪影的选择性与对原图一致(图 3b),说明形状是驱动身体区块神经元的主要特征(Bao 2020;Popivanov 2015)。
  4. 从后到前的编码梯度:MSB 神经元对身体 2D 旋转调谐良好,ASB 耐受性更强;3D 视点选择性从 MSB 到 ASB/AVB 递减;与视点无关的身份与姿态解码在 ASB 中好于 MSB(Kumar 等,2017,图 3c);"身体 vs 非身体"解码的起始潜伏期 ASB 晚于 MSB,提示 ASB 处于更高层级;MSB 群体活动呈"身体/非身体"聚类,ASB 则按身体个体聚类、更擅长区分不同身体。这一梯度与面区网络的前-后梯度平行,被作者提炼为 IT 的一般加工原则。
  5. 身体区块是面向动作与社会情感网络的"身体描述提供者":其输出包括身体部件、形状/身份、姿态与朝向(MSB 的朝向选择性强于 ASB);STS 腹岸与腹侧前额叶、顶叶(含顶内沟)、基底节、杏仁核、OFC、嗅周皮层等相连,静息态 fMRI 显示人 EBA/FBA 类似的广泛连接;但在 MSB 内,同时呈现的身体与面部反应约等于身体单独(与身体+物体配对相同),未见特异性面-身交互。

图注解读

图 1 · 猕猴 IT 解剖连接与 STS 行走者神经元

原文图注:Anatomy and connectivity of the macaque IT and single-unit selectivity for a walking human in the STS. (a) Connectivity of IT subregions, illustrating reciprocal connections in a lateral (top) and ventral (bottom) view of the macaque brain. The STS is opened to show its subregions. Subregions of the dorsal bank (d) of the STS anterior to area FST are not shown. The primary visual cortex (V1) provides input through subregions of the preoccipital (V2; V3d/v), prelunate (V4d/v), posterior IT (TEOd/v), and posterior ventral bank and fundus of the STS (STSv/f caudal) into area TE (TEpd, TEpv, TEad, and TEav) and the temporal pole (area TGv), as well as the rostral STSv/f. Panel a adapted with permission from Kravitz et al. (2013). (b) Responses of a single unit recorded in the dorsal bank of the STS to walking bodies and controls (square and vertical arrows) moving in four directions. The neuron showed a greater response to the back view of the body walking away from the monkey than to either controls or the front view of the body moving away from the monkey. The neuron did not respond to other body views moving in other directions or to static images (not shown). Panel b adapted with permission from Oram & Perrett (1996). Abbreviations: 。 (此处省略缩写表)

(a) 是猕猴 IT 亚区连接图:侧视(上)与腹视(下)两幅脑图,STS 被剖开以显示其亚区,箭头粗细表示连接强度(粗=强,细=中等,虚线=稀疏)。它给出后续讨论的解剖坐标系——V1 经 V2/V3/V4、后部 IT(TEO)输入 TE 各亚区与前部颞极,这解释了为何"后部-前部"成为身体区块组织的描述轴。(b) 是经典的 Oram & Perrett(1996)单细胞例子:背岸 STS 神经元对"背对猴子走远"的身体反应最强,强于对照(方块与垂直箭头)与"正面走远",对其他朝向、其他方向与静态图不反应——直接支撑主要结果第 1 条"形状与运动线索整合、朝向与方向双选择"的早期证据。

Figure 1

图 2 · 人脑身体选择区与猴身体区块的对应

原文图注:Human body category–selective areas and body patches in the macaque IT. (a) Illustration of the location of the EBA, FBA, and STS body area on an inflated cortical surface. The fMRI activations are from a single human subject contrasting static images of human bodies without heads to human faces, small artifacts, houses, outdoor scenes, and phase-scrambled images. Panel a made using unpublished data provided by M. Fang, A. Anglinskas, Y. Li, and S. Anzellotti and used with permission. (b) Saggital section of the monkey brain illustrating, from posterior (left) to anterior (right), the body patches MSB, ASB, and AVB. The body patches were obtained by contrasting 20 images of monkey bodies without heads to 20 monkey faces and 60 man-made objects. The fMRI activations in the fixating monkey were performed using the contrast agent monocrystalline iron oxide nanoparticle and analyzed following the procedures for a block design (Popivanov et al. 2012). (c) Coronal section illustrating the location of the MSB in the STS. (d) Coronal section illustrating the location of the ASB. (e) Coronal section illustrating the location of the AVB. Note that the locations of body patches can vary among monkeys. Panels b–e made using unpublished data provided by Y. Zafirova and R. Vogels. Abbreviations: 。 (此处省略缩写表)

五个面板分两半:(a) 用充气皮层表面展示人脑 EBA、FBA 与 STS 身体区的位置,对照条件为无头人体对脸、小物件、房屋、室外场景与相位打乱图像;(b)–(e) 为猴脑矢状面(标出从后到前的 MSB、ASB、AVB)与三个区块各自的冠状面切片,定位数据来自无头猴体对猴脸与人造物的对照。读图要点在空间关系而非统计量:三个猴身体区块都贴着对应面区分布,人脑 FBA 也紧邻 FFA——这是主要结果第 2 条"身体区与面区比邻而居"以及后文"MSB↔EBA、ASB↔FBA 同源假说"的直接图像证据;面板标题同时提醒各猴之间区块位置存在个体变异。

Figure 2

图 3 · 身体区块神经元的刺激选择性与跨变换解码

原文图注:Stimulus selectivity of macaque body patches. (a) Stimulus selectivity of single MSB neurons. (Top) Responses of single neurons (rows) recorded from the MSB of a single monkey to 100 images (columns). Stimuli, from left to right, are 10 monkey faces, 10 human faces, 10 headless monkey bodies, 10 headless human bodies, 10 mammals, 10 birds, 10 Mooney sculptures, 10 fruits or vegetables, 20 man-made objects. The net response, normalized per neuron, is indicated for each image (columns) and neuron (rows) with a color code (warm colors correspond to higher responses). The lower bar shows the normalized response averaged across neurons. Individual neurons vary markedly in their selectivity, but the population of MSB neurons responds on average more strongly to bodies compared to other categories. Panel a adapted with permission from Popivanov et al. (2014). (b) Mean ranked responses of MSB neurons to original and silhouette versions of images of various categories, including bodies. Before averaging the net responses across the single neurons, stimuli were ranked from best to worst by their response to the original versions. Error bars denote the standard error of the mean, and N corresponds to the number of neurons. Panel b adapted with permission from Popivanov et al. (2015). (c, left) Classification accuracy (support vector machines and sixfold cross-validation; for details, see Kumar et al. 2017) of the decoding of three monkey body avatar identities, irrespective of their posture and viewpoint, from a population of MSB (red) and ASB (blue) neurons. (Middle) Classification accuracy for decoding of five postures, irrespective of identity and viewpoint. (Right) Decoding of eight viewpoints, irrespective of posture and identity. The dashed gray lines indicate chance level. Panel c adapted with permission from Kumar et al. (2017). Abbreviations: ASB, anterior superior temporal sulcus body patch; MSB, middle superior temporal sulcus body patch.

这张多面板图是全文实验证据的浓缩。(a) 是"神经元×图像"热图:行为 MSB 神经元,列为 100 张图(从猴脸到人造物共九类),暖色代表高反应——行与行之间花色斑驳展示单细胞异质性,而底部的"神经元平均"条却呈现出清晰的身体偏好,这正是主要结果第 3 条"群体类别选择由异质单元平均而来"的直观呈现。(b) 把刺激按对原图的反应从最好到最差排序后,比较对原图与剪影的平均排序反应:两条曲线走势几乎重叠,说明纹理与明暗被剥离后选择性仍在,形状是主导特征。(c) 是三组解码准确率随时间(横轴 −100–400 ms)的曲线:红色 MSB 与蓝色 ASB 分别对 3 个身份、5 种姿态(无视点/身份)与 8 个视点解码,灰色虚线为机遇水平——身份与姿态的 ASB 曲线高且早于机遇上升明显,视点解码则 MSB 更好,直接支撑主要结果第 4 条的前-后梯度结论。

Figure 3

讨论

作者的总体解释框架是:身体区块构成一个"视觉分析身体的皮层网络",其计算对象是形状特征而非语义类别——这与邻近面区的加工逻辑同构,只是特征字典不同。他强调三个推论:其一,身体区块的描述(部件、形状、姿态、朝向)是下游系统的输入接口,供顶叶的动作规划、情绪网络、社会认知与观察学习取用,不同下游所需信息的粒度可能决定区块间有效连接的走向(此为作者的明示猜想);其二,前部区块更强的视点耐受身份/姿态编码与面区网络平行,暗示这是 IT 处理一切物体类别(包括面孔)的一般原则,而非身体特有的设计;其三,解码出来的信息未必被下游使用——因果性研究(操纵活动加行为读出)在面区提示只有偏好类别的信息被利用,身体区尚待检验。作者坦率的局限清单包括:早期 STS 动作神经元驱动的时空特征不明;3D 形状与运动线索对身体区块单细胞反应的贡献未探;遮挡下的时间整合有限(ASB 只对瞬时可见片段反应,Bognar & Vogels 2021);猴-人同源关系仍是暂定,人脑前部区域还受磁化率伪影困扰;fMRI 的 RSA/MVPA 跨区差异可能混淆单细胞选择性与空间聚集(Dubois 2015);面-身交互在 MSB 内无特异性证据,但人面孔配猴身体的刺激选择可能掩盖了整合,需要更前部区块与更自然的刺激。FUTURE ISSUES 部分则把高分辨率猴 fMRI、动态身体作图、参数化特征操作、网络内信息流、社会交互编码与因果实验列为下一步。

一句话总结

以我的理解,这篇综述最有分量的信息是"身体区就是另一个面区"——同样的邻接拓扑、同样的后-前视点耐受梯度、同样的"特征而非语义"编码逻辑,说明 IT 的类别区更像同一套计算架构在不同特征空间上的多次实例化,而身体只是被我们看得第二多的那个实例。它也提醒所有做人类 fMRI 类别区的人:群体平均的选择性可能是单细胞异质性攒出来的海市蜃楼,这一条对体素级元分析时代同样成立。


审校与证据追溯 (Verification & Evidence)

图表审计结果

  • Fig1: 提取质量 good,对齐度 full,识别面板 []
  • Fig2: 提取质量 good,对齐度 full,识别面板 []
  • Fig3: 提取质量 good,对齐度 full,识别面板 []

关键事实与局限性声明

  • 审校纠偏: 身体区就是另一个面区——同样的邻接拓扑、同样的后-前视点耐受梯度、同样的「特征而非语义」编码逻辑 -> 评注:
  • 补充要点: 手部动作/手-物交互神经元:STS 腹岸存在对手部操作动作选择性、对 miming 与手-物间隔敏感的细胞群(Perrett et al. 1989; Barraclough et al. 2009),并有猴 fMRI 在相近位置印证(Nelissen et al. 2011)——笔记整段未提。
  • 补充要点: Singer & Sheinberg (2010):腹岸 STS 神经元在自由观看中同时编码行为者身份与动作,且动作分类无法泛化到无形随机点运动,直接支持「形状贡献大」的主线论点,与结果第1/3条高度相关却未引。
  • 补充要点: 人类 pSTS 与 EBA/FBA 的动作序列分离:pSTS 对连贯动作序列反应略强,EBA/FBA 相反(Downing et al. 2006),是「pSTS 编码时间序列、EBA/FBA 编码静态快照」的关键证据,人类侧叙事基本缺失。
  • 补充要点: 面-身交互的正性对照:前部面区存在超加性的面-身交互(Fisher & Freiwald 2015),与身体区块内无特异性交互形成对照,笔记只报了阴性一侧。
  • 补充要点: 感受野与视野偏差的跨物种呼应:MSB(而非 ASB)有下视野偏差,与人 EBA 下视野偏差、FBA 中央视野偏差一致(Kumar et al. 2017; Schwarzlose et al. 2008),这是支持 MSB↔EBA 同源假说的独立证据,未提。
  • 补充要点: 先天盲/无眼受试者 EBA 经触觉/听觉的身体类别选择性激活(Kitada et al. 2014; Striem-Amit & Amedi 2014; van den Hurk et al. 2017)——人类侧关于视觉经验作用的讨论完全缺席。