IT / 文献库

PAPER 283 / CLOSE READING

Body patches in inferior temporal cortex encode categories with different temporal dynamics

语义审核:needs_revision · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 两个身体补丁的 fMRI 定位与群体反应
    2. 图 2 · 上位类别(body vs nonbody 等)的解码时间进程与 TCT 矩阵
    3. 图 3 · 基本水平类别的解码(人 vs 猴身体、人 vs 猴脸)
    4. 图 4 · exemplar 水平的解码
  6. 讨论
  7. 一句话总结

该文在猕猴上颞沟(STS)两个经 fMRI 定位的身体选择性斑块——中段 STS 身体区(MSB)与前段 STS 身体区(ASB)中记录单神经元反应,利用相同的 100 张图像和线性 SVM 解码,追踪类别表征在反应进程中的时间动力学。结果显示:解剖位置偏后部的 MSB 比前部的 ASB 更早达到显著分类(约提前 20 ms),且其编码模式随时间相对稳定;ASB 则表现出反应早期与晚期可分离的“双相”动态编码,这种双相特性主要出现在上位类别(如身体 vs 非身体),而在基本水平判别(如人身体 vs 猴身体)上两区的时间动态相似。该发现对混合全脑信号的宏观无创解码解释提供了区域特异性参考,也补充了腹侧流前部斑块表征演化的电生理证据。

研究背景

视觉类别信息在反应开始后是否保持同一种编码,是理解快速识别的重要问题。人类脑电与脑磁研究常用跨时间解码来检验这一点:在某一时窗训练的分类器,如果不能推广到另一时窗,便说明两时段可供读取的活动模式有所改变。然而,头皮信号混合了多个脑区,同样的现象既可能来自一个区域内部表征的演变,也可能来自不同时段占主导的脑区不同。既有猴下颞叶记录同样出现过动态与相对稳定两类结果,但记录位置、刺激性质和任务要求并不一致,难以据此判断时间变化究竟是整个下颞叶的共同特征,还是特定亚区和判别问题的属性。

身体选择性斑块为缩小这一不确定性提供了条件。功能成像和单细胞研究已在上颞沟中部及前部找到身体偏好的区域,两者有连接证据,前部区域还表现出较强的跨视角姿态和身份信息。这样的功能差别提示,沿前后方向的信息转换可能也体现为不同的时间过程,但既往平均反应潜伏期相近,又不能用简单的串行延迟概括两区关系。与此同时,基本类别与上位类别谁先被区分也存在争议:结果可能取决于所读细胞群是否偏好目标类别,而不是由类别抽象程度独自决定。要厘清这些问题,需要在同一动物、同一刺激和同一分析框架中比较已定位的区域,并区分对已见图片的分类与对新实例的类别泛化。

本文因此在两个身体区的单细胞数据上进行逐时窗解码和跨时间训练测试,分别考察身体与非身体、身体与面孔,以及人和猴身体等判别。不同图片之间的训练测试划分用于检验类别信息能否超越具体刺激,跨时窗矩阵则检验读出规则能否保持。研究的目标是确定动态发生在哪个区域、哪种分类层级,而非仅给视觉系统贴上“动态编码”的标签。解释也需停留在测量允许的范围:伪群体解码不保留真实同步群体的全部相关结构,显著分类起点受信号强度与分析时间窗影响;前后时段不能相互泛化,不能独自区分异步输入、局部循环和其他脑区反馈。两区时间过程的差异可以约束统一读出模型,但尚不证明动物行为实际采用了哪一套读出权重。

研究思路

作者的策略是"同动物、同刺激、同分析,只让脑区位置不同",从而把两补丁编码动力学的差异干净地归因于区域本身。技术上采用两条互补的解码通道:其一,同刺激分类(same-stimulus classification, SSC),训练与测试用同一组刺激的不同试次,衡量类别表征的试次间线性可分性;其二,异刺激分类(different-stimulus classification, DSC),用某类别 80% 的实例训练、其余 20% 的实例测试,直接检验"举一反三"式的类内泛化——后者才是分类学意义上的严格考验。时间维度上,先把逐 20 ms 时间窗的同窗解码精度画出时间进程,再把"训练窗 × 测试窗"的全部组合画成时间交叉训练(temporal cross-training, TCT)矩阵:对角线高与非对角线也高,意味着编码静态;只有对角线高、离开对角线即跌落,意味着编码动态。这套设计既能在层间(上位 vs 基本)比较解码起始时间(onset)差异,也能把 MEG 文献的标准争论移植到单细胞数据上做裁决。

方法

被试为两只雄性恒河猴(7–9 kg,与 Popivanov 等 2014 同批动物),植入 MRI 兼容头柱与分别指向 MSB、ASB 的两个记录室。刺激为 10 类黑白图像各 10 张,共 100 张:猴身体与人身体(均无头)、猴脸与人脸、四足哺乳类、鸟类、两类人造物体(objectsM 物体长宽比匹配猴身体、objectsH 匹配人身体)、水果/蔬菜、身体样雕塑;各类间平均亮度、对比度匹配,图像面积大体匹配,嵌入与图像同平均亮度的粉噪声背景(30°×40° 显示)。fMRI 定位用块设计(注视红色小点,MION 造影,3T,1.25 mm 等向体素),以"猴身体 vs objectsM"的显著激活确定记录位点,并用电极-导套管共成像与玻璃毛细管轨迹验证。电生理为环氧绝缘钨微电极单单元记录,被动注视任务下每张图呈现 200 ms(ISI 约 400 ms)、要求刺激前一后 100/200 ms 内维持注视;只纳入每个刺激至少 5 个未中断试次的反应神经元,最终 MSB 214 个、ASB 146 个单元(两只猴合计 360 个)。解码用 Neural Decoding Toolbox 的线性 SVM(C=1,五折交叉验证,all-pairs 多类方案),每次从各猴各补丁随机抽 68 个神经元构成伪群体(pseudopopulation),重复 50 次取平均;20 ms 时间窗从刺激前 100 ms 扫到刺激后 440 ms;类别判别共五种(body vs nonbody、body vs face、body vs object、猴身体 vs 人身体、猴脸 vs 人脸),实例(exemplar)解码只做 SSC 且用 10 ms 步长以精细估计 onset。显著性用 200 次标签打乱的零分布加 FDR 校正(q<0.005),解码 onset 定义为首个显著时间窗;TCT 矩阵差异用从合并群体随机抽 136 个神经元的重抽样零分布检验,仅呈 p<.01 的元素。

主要结果

  1. 两补丁群体反应的潜伏期相近,但 ASB 的群体 PSTH 呈双峰形状——自约 120 ms 起出现一个反应低谷,MSB 则无此结构(图 1C);平均反应看不出类别信息的时间演化,这正是引出解码分析的动机。
  2. 上位水平(body vs nonbody、body vs face、body vs object)两区解码都很好,DSC 一致低于 SSC(泛化更难);ASB 的解码精度时间进程呈双相,约 120–250 ms 间有一低谷,MSB 则在峰值后单调衰减;两区峰值出现在同一时间窗,但 MSB 的分类 onset 比 ASB 早 20 ms(SSC 与 DSC 均如此,且在每只猴子单独分析时也成立)(图 2)。
  3. TCT 矩阵揭示两区编码性质的质的差异:MSB 的 body–nonbody 编码大体静态(跨时窗训练—测试仍可解码,但存在不对称——晚期训练对早期测试的泛化好于早期训练对晚期测试),ASB 则呈两个分离的方块,反应后半段几乎不通用于前半段;差异矩阵统计显著(p<.01)(图 2A、B)。body vs face 的 TCT 与此高度一致,且 ASB 在刺激消失后解码持续更久;body vs object 趋势相同但 ASB 双峰不明显、DSC 的 onset 差异未达显著(图 2C–F)。
  4. 基本水平判别改写预期的拓扑:猴身体 vs 人身体的解码在两区都比较强、动态相似(TCT 只差一个整体的时间平移),MSB 仅在 SSC 口径显著更快;在 ASB 中该基本类别与上位类别的 onset 无差,MSB 的 SSC onset 跨层级相同(DSC 对基本类别约慢 20 ms)(图 3A、B)。而身体补丁的非偏好类别——猴脸 vs 人脸——解码很弱(DSC 尤甚),且 ASB 的 onset 反而显著更晚,晚期解码更高(图 3C、D)。这说明"基本早于上位"的普遍规律并不可靠:凡涉及身体的判别,上位与基本 onset 一样早。
  5. exemplar 层面:100 张图各自的解码 MSB 又快又准,两区 TCT 都显示离开对角线即大幅跌落(个体图像的表征相当动态),ASB 仍隐约双峰;只解码人身体或猴身体内部 10 个实例时结果类似,且有早期—晚期泛化更好的趋势。作者指出 exemplar 解码本质上是基于图像的(尺寸、姿态、视角、身份混杂其中),解释困难,故未深究(图 4)。

图注解读

图 1 · 两个身体补丁的 fMRI 定位与群体反应

原文图注:Figure 1. The MSB and ASB patches: fMRI mapping and population spiking activity. (A) One example image from each of the 10 stimulus classes used to record the responses of the neurons in MSB and ASB. (B) Activations of the contrast "monkey bodies"–"objectsM" (t > 5). The images of Monkey B show an electrode targeting ASB. The figure is adapted from Kumar et al. (2019). (C) Population PSTHs of mean normalized firing rate averaged across the 10 stimulus classes for MSB (red; n = 214) and ASB (blue; n = 146) neurons. Data of the two animals were pooled. Shaded bands: ± 1 SEM. Normalization was performed for each neuron by dividing the response by the maximum mean firing rate (across the 10-msec bins). The gray-shaded region corresponds to the stimulus presentation (0 = stimulus onset).

A 面板给出 10 类刺激的样例,B 面板是"猴身体 vs objectsM"的 fMRI 激活图并展示指向 ASB 的电极,C 面板为两区合并数据的归一化群体 PSTH。读图要点:横轴时间(0 = 刺激起始)、阴影为刺激呈现期,红(MSB,n=214)与蓝(ASB,n=146)两条曲线的起始时间几乎同时,但蓝线在约 120 ms 后有个明显的回陷、随后再起——这个肉眼可见的双峰形状正是 ASB"双相编码"在平均反应上的影子,也是主要结果 1 的来源。

Figure 1

图 2 · 上位类别(body vs nonbody 等)的解码时间进程与 TCT 矩阵

原文图注:Figure 2. Temporal patterns of body category decoding in MSB and ASB. (A, B) Left column: Time course of decoding accuracy for body versus nonbody for MSB (red) and ASB (blue) neurons for SSC (A, top) and DSC (B, bottom). Dashed lines indicate chance levels, and error bars correspond to standard deviations (n = 50 resamplings). The gray-shaded region corresponds to the stimulus presentation (0 = stimulus onset). The horizontal filled bars at the bottom indicate significant decoding accuracy for MSB (red) and ASB (blue). Second and third columns: TCT matrices describing the decoding performance (in color code; see the vertical bar on the right side of each panel) as a function of the training and testing time bins (width = 20 msec). Each row corresponds to the time bin that was used to trai ……(后略:行为矩阵的行列定义、SSC/DSC 两版以及右列为 ASB−MSB 的差异矩阵)

左列是 body vs nonbody 的解码精度时间进程(红 MSB、蓝 ASB,虚线为随机水平,底部色条为显著性区间);中列是 MSB 与 ASB 的 TCT 矩阵(横轴测试窗、纵轴训练窗,颜色编码精度,对角线为同窗解码);右列是令非对角线元素置零(p>.01)的 ASB−MSB 差异矩阵。读图要点有三:一是蓝色(ASB)进程曲线呈两峰一谷而红色单调滑坡;二是 ASB 的 TCT 呈两个方块、MSB 的大面积亮色延伸出对角线(静态);三是这种差异对 SSC 与 DSC 皆成立,C–F 行还显示 body vs face、body vs object 复现同款格局。这是主要结果 2、3 的主图。

Figure 2

图 3 · 基本水平类别的解码(人 vs 猴身体、人 vs 猴脸)

原文图注:Figure 3. Temporal patterns of basic-level category decoding in MSB and ASB. (A, B) Human versus monkey body category decoding: (A) SSC and (B) DSC. (C, D) Human versus monkey face category decoding in MSB and ASB: (C) SSC and (D) DSC. Same conventions as in Figure 2.

格式完全沿用图 2(左列时间进程、中列两区 TCT、右列差异矩阵)。读图要点在于对比两组结果:A/B 行中人身体 vs 猴身体在两区精度都高、TCT 形状相似(仅 ASB 整体右移、且刺激结束后解码持续更久),说明基本水平身体判别的编码性质两区相仿;C/D 行中人 vs 猴脸的精度整体低(DSC 尤其接近随机),而 ASB 的解码反而更晚 onset、晚期更高——与"分类速度取决于读出群体的类别偏好"这条核心解释相互印证。此图支撑主要结果 4。

Figure 3

图 4 · exemplar 水平的解码

原文图注:Figure 4. Temporal patterns of exemplar decoding in MSB and ASB. Decoding of all individual images (A, N = 100) and the exemplars of the human body (B, N = 10) and the monkey body (C, N = 10) categories. Same conventions as in Figure 2. Only the SSC-type classification was possible for the exemplar decoding. No difference matrix between ASB and MSB is shown as there was a marked difference between the peak performances of MSB and ASB.

A 行解码全部 100 张图像,B、C 行分别只解码人身体、猴身体内部的 10 个实例;只做 SSC,且因两区峰值差异悬殊而不展示差异矩阵。读图要点:MSB 的 exemplar 解码比 ASB 又快又高;两区 TCT 都显示离开对角线性能骤降但也留有跨时间泛化的痕迹,ASB 隐约双峰。作者在正文中明确说 exemplar 解码是纯图像层面的(混杂姿态、视角、身份与大小),解释空间有限,故点到为止。此图补齐主要结果 5,也提示"个体图像表征动态"可能是两区共享的性质而非区域特异。

Figure 4

讨论

作者将两区的动力学差异置于腹侧流视觉层级中讨论:MSB 位于更后部,符合类别信号先在后部斑块出现的层级预期。这解释了与既往平均反应研究的表面差异:群体 PSTH 的潜伏期相近,而解码分析能够捕捉类别信息何时可线性读出。

针对 ASB 的双相动态编码机制,作者提出了三种假设解释:一是不同刺激特征的信息通过异步输入在不同时段相继到达;二是斑块内部的局部循环(recurrent)加工随时间改变了神经表征;三是晚期编码可能受其他脑区的反馈调节。MSB 的时间交叉泛化不对称(晚期训练对早期测试的泛化优于反向)以及初始 20 ms 编码与后续时窗的分离,提示后部区域同样存在循环加工的影响。

关于分类层级出现先后的分歧(如 Dehaqani 等 2016 提出基本类别早于上位类别),作者指出两点原因:其一,全 IT 随机取样时上位类别(如生物 vs 非生物)常混合面孔与身体,而功能斑块的分隔使此类全局轴线较难直接线性分离;其二,分类潜伏期显著依赖被读出神经群体的类别偏好——身体斑块解码身体信息极快,而解码非偏好类别(面孔)时潜伏期显著滞后。此外,ASB 对上位类别的双相动态与面孔系统前部斑块(AM/AL)随时间递增的跨视角不变性表征(Freiwald & Tsao 2010)相呼应,提示前部区域的时变重构可能反映了更复杂的特征整合过程。

一句话总结

该文揭示了猕猴下颞叶后部与前部身体斑块在类别解码动力学上的分离:后部 MSB 分类出现更早且编码模式相对稳定,前部 ASB 则表现为早期与晚期可分离的双相动态编码,表明腹侧流高级皮层的时变表征具有显著的区域与分类层级特异性。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。