Moving a shape behind a slit: partial shape representations in inferior temporal cortex

这篇文章用猕猴单细胞电生理直接检验了一个此前只有人类 fMRI 证据的问题：当一个物体从静止的狭缝后面移过、每一瞬间只露出一小块时，下颞叶（inferior temporal cortex, IT）神经元是在做时间整合、拼出完整形状，还是只对陆续露出的形状片段作反应。答案是后者——IT 神经元对特定"有效片段"有选择性反应，且即使在猴子主动完成狭缝-整图匹配任务时也没有出现整形状表征。对于关心"腹侧通路到底如何表征物体"以及"跨时间的知觉整合发生在哪一级"的读者，这是一篇把 fMRI 群体结论拆到单细胞时间精度上的关键对照工作。

研究背景

当代腹侧视觉通路模型（包括卷积神经网络模型）默认了一种"空间表征"：物体的各部分特征同时出现在视网膜像上，模型的单元响应依赖于同时存在的局部特征组合。但生活中并非总是如此——一只狗从虚掩的门后走过时，任一时刻经门缝可见的只是它身体的一小条，我们却仍能认出它。这种"裂隙知觉"（anorthoscopic perception, AP）早在上世纪 60 年代就有心理物理学研究（Parks, 1965；Rock & Sigman, 1973），并已排除视网膜涂抹或 smooth pursuit 的解释，说明它依赖对先后呈现的碎片形状信息做时间整合。这对基于空间并置特征的物体识别模型是一个直接挑战：连续刺激同一视网膜窄条的形状元素，必须沿时间轴拼回去。

人类 fMRI 研究曾给出诱人的答案：Yin 等（2002）和 Orlov 与 Zohary（2018）发现，当物体经窄缝移动、被知觉为完整物体时，腹侧通路关键区 LOC（lateral occipital complex）活动更强，且用多体素模式分析（multivoxel pattern analysis, MVPA）能从 LOC 的激活模式中解码出移动物体的形状，甚至能跨狭缝朝向、跨"狭缝观看 vs 静态整图"泛化——作者据此认为 LOC 表征了经时间整合形成的完整形状知觉。但 fMRI 的时间分辨率回答不了神经层面的问题：BOLD 信号本身就在时间上做缓慢积分。如果不同神经元分别对不同的形状片段敏感，迟缓的血氧响应把各神经元的片段反应在时间上平均后，不同形状的活动模式同样会不同——解码成功并不等于任何一个神经元做了时间整合。此外 Orlov 与 Zohary 的"随机顺序"对照以 60 Hz 打乱帧序，会产生闪烁和强烈的前后向掩蔽（masking），使"片段表征"与"整合表征"难以真正分离。要判断 LOC 的同源区——猕猴 IT——里单个神经元到底在狭缝观看时做什么，需要单细胞时间精度的记录。

研究思路

作者的总体策略是：既然 fMRI 只能给出"时间上糊在一起"的群体信号，那就用单细胞记录同时测两个层面——把反应在整段狭缝观看期内平均后，群体能否像 fMRI 那样解码形状；再在细时间尺度上看单细胞的反应时程，检验时间整合应有的标志（反应随片段累积而增强、选择性随时间上升）。为了把神经元的形状选择性拉满，他们改为：猕猴 IT 被认为是人类 LOC 的同源区（Denys et al., 2004）。为提高刺激诱发形状选择性反应的有效性，作者在 fMRI 定义的上颞沟前部身体选择区 ASB 内及其邻近区域进行记录（Kumar et al., 2019）。，并使用已证明能有效驱动该区反应的动物剪影（Bao et al., 2020）作刺激。狭缝的宽度、物体运动速度、时长都刻意与 Orlov 与 Zohary（2018）的人类 fMRI 实验保持一致，方便直接对话；但加了噪声背景作遮挡线索，并把"随机顺序"对照改成每片段连续呈现 6 帧（80 ms）以压制掩蔽效应，使该对照真正干净。逻辑链的最后一环是行为：先证明猴子确实在狭缝观看条件下表现出 AP（能匹配狭缝样本与静态整图），再检查注意与训练（让猴子主动做延迟匹配任务）是否会改变神经反应的性质——如果主动整合存在，它应该在任务态出现。

方法

被试为 3 只雄性恒河猴（MG、MB、MT），植入记录 chamber，瞄准左半球 fMRI 定义的 ASB 身体区及其邻近位点。用钨丝微电极做标准单细胞记录，同时以 1 kHz 红外眼动仪监测一只眼睛的位置。刺激为 70 幅黑色动物剪影（外包框均为 4.8°×4.8°，保证各形状在缝后的可见时长一致），灰色背景上叠加"盐与胡椒"静态噪声作遮挡物。先用 Search 测试呈现 70 个静态整形状（350 ms），据此为每个神经元选出反应最强的 best、最弱的 worst 和中间的 medium 三个形状。随后的狭缝观看测试（被动注视 PF 任务）中：0.48° 宽、7.2° 长的灰缝置于 2° 偏心处（水平或垂直朝向），空缝先呈现 480 ms，然后形状以 6.2°/s 从缝后平滑移过（四个运动方向：左右、右左、上下、下上），片段可见的电影持续 773 ms（75 Hz 帧率，单帧仅约 10% 形状可见），之后空缝再保留 80 ms。对照条件有两个："random"条件把 9 个互不重叠的形状片段以固定伪随机顺序呈现，每片段 6 帧（80 ms）；"jumping"条件则把同样的片段按正确顺序呈现（有轻微跳动）。另有 Snapshot 测试：把狭缝电影里的 11 个片段帧作为静态刺激单独呈现 80 ms。行为部分训练 Monkey MG 完成延迟匹配样本任务（delayed matching-to-sample, DMS）：样本可以是狭缝观看电影或静态整形状，随后在上下两个位置呈现两个形状，猴子需扫视到与样本匹配的一个；先用约 60 个形状充分训练，再以旧（10 个）与新（10 个）形状测试，并在其执行 DMS 任务时及任务后 PF 复测时分别记录各 20 个神经元。分析上：用 800 ms 分析窗（运动起始后 50 ms 起）算平均反应，做三因素重复测量 ANOVA（形状×运动方向×原序/随机条件）；定义同轴与正交轴 Direction Index、基于奇异值分解的 Separability Index、半高峰宽的 peak duration；用类似逆相关（reverse correlation）的办法把 75 ms 反应 bin 按约 70 ms 延迟归属到对应的形状片段，并与 Snapshot 反应求 Pearson 相关；解码用线性支持向量机（SVM）与伪群体（把各神经元单试次反应 z 归一化后拼接），五折交叉验证加 1000 次置换检验，另做 100 ms 短窗的跨时间（cross-temporal）解码。

主要结果

1. 狭缝观看能驱动 ASB 神经元，且反应有时间结构：共记录 196 个对静态整形状有反应的 IT 神经元，绝大多数在狭缝条件下有显著兴奋性反应（MG 87%、MT 与 MB 均为 100%），多数还受形状（MG 63%、MT 89%、MB 72%）或运动方向调制。单细胞普遍只在电影中的短暂时段反应，反应时段随运动方向而移位——改为：单细胞常仅在电影中的短暂时段反应，反应时段随运动方向而移位，这是样本中的普遍模式；群体反应也未呈现随片段依次出现而持续增强的趋势，未发现将连续片段整合为完整形状表征的证据。（图 2、图 3）。

2. 群体层面：把 185 个神经元的反应归一化后平均，反应在运动起始后不久升高、持续到片段消失即回落，best > medium > worst 的形状偏好与静态整图条件一致，但狭缝条件平均反应远低于静态条件。形状因素高度显著（F(1.76,664.5)=116.97，p=1.8×10⁻³⁵），原序条件反应显著大于随机条件（F(1,184)=51.69，p=1.6×10⁻¹¹），jumping 条件居中（对 random 显著，F(1,125)=9.08，p=3.12×10⁻³）——作者认为后者更可能是相邻片段特征相似（等效于刺激变长）所致，而非时间整合的证据（图 4）。

3. 解码：以 800 ms 窗整合后，形状身份在狭缝条件下可解码至接近天花板，跨运动方向泛化极好，改为：跨狭缝朝向（不同运动轴）的解码准确率降至约 60%，多数训练—测试组合仍显著高于 33.3% 的机遇水平，但训练 LR、测试 DU 的组合未达显著。，狭缝→静态也泛化良好；但静态→狭缝只有机遇水平（训练-测试不对称，可由两类条件信噪比差异解释，Van den Hurk & Op de Beeck, 2019）。这与人类 LOC 的 MVPA 结果吻合。关键的细时间尺度分析（100 ms bin 跨时间解码）显示：狭缝条件下训练与测试 bin 相差超过 200 ms 精度即骤降，是高度时间特异的编码；对侧方向之间的泛化呈镜像对称的对角带——同一形状片段在两个相反方向下出现在电影的不同时刻，这正是"神经元对特定片段反应"的指纹，而非整形状的平稳编码（图 5）。

4. 片段反应的直接证据：Snapshot 测试（静态呈现 11 个片段帧，80 ms）的反应图与由狭缝数据逆相关估计出的"形状反应图"高度相关——MG 中位数 r=0.48（p=9.9×10⁻²⁷），MT 中位数 r=0.40（p=1.6×10⁻¹³）。即神经元在狭缝观看中短暂反应的时段，正是"有效片段"经缝露出的时刻（图 6）。

5. 行为与任务态对照：Monkey MG 在 DMS 任务中，狭缝样本的匹配成绩 70%（95% CI 67–73），显著高于 50% 机遇（静态样本为 82%，CI 77–88）；首次见到的新形状样本也有 67%（CI 61–72），说明不是配对联想学习；当匹配项与不匹配项是"原序整图 vs 随机顺序拼图"（两者含相同片段）时仍有 67%（CI 63–70），说明猴子不是只靠孤立片段；而随机顺序狭缝样本的成绩跌到 46%（CI 43–50），不高于机遇。这些数据证明猕猴表现出了 AP。但即便在猴子主动做匹配时记录的 20 个 DMS 神经元中，反应性质依旧：同轴 Direction Index 中位数仅约 0.1（虽显著大于 0），正交轴指数更大；DMS 中及任务后的反应半高宽反而更短（PF vs DMS：p=0.0035；PF vs post-DMS：p=0.0018）； 改为：DMS 训练后记录的神经元样本具有更高的 Separability Index；作者认为，这可能与训练后样本的形状选择性更强有关。（Shape Selectivity Index 中位数 0.57→0.71/0.9）。眼动分析显示注视稳定、无 smooth pursuit（图 7、图 8）。

图注解读

图 1 · 刺激与任务流程总览

原文图注：Figure 1. Stimuli and tasks. A, Examples of shapes used in the electrophysiological experiments. B, Coronal MRI sections showing the location of the body patch ASB (indicated by the oval outline) in Monkey MG. The fMRI activations of the body patch localizer are shown in hot colors (threshold t > 5). C, Slit-viewing test during PF. Following a 300 ms fixation period, an empty horizontal gray slit (C1), a vertical gray slit (C2), or a gray square aperture that included a static shape (C3) was presented in the noise background. The static shape configuration was presented for 1333 ms, equal to the duration of the slit. After 480 ms of empty slit presentation, shape passed behind the slit. The movie displaying the shape fragments lasted 773 ms. ……

这张图是全文的"地图"。A 给出动物剪影刺激的样式；B 用冠状 MRI 断面与 fMRI 激活（热色，阈值 t>5）标出 ASB 身体区的位置，说明记录位点不是随便选的；C 逐帧展示 PF 任务的时间线——300 ms 注视、空缝 480 ms、形状片段电影 773 ms、空缝 80 ms——右侧还画出了垂直缝 RL 条件的前 4 帧，以及对应 random 条件的片段顺序（每片段 6 帧/80 ms）；D 画出 DMS 任务的样本-测试流程。读这张图要先记住时间结构：空缝先出现近半秒，形状才开始动，所以缝本身的出现不会污染形状反应；"10% 可见/帧"与各形状等尺寸的设计保证了不同形状、不同方向下可见时长一致。它支撑的是方法部分的所有条件设定，也是理解后文"原序 vs 随机 vs jumping"三种对照的基础。

图 2 · 示例神经元：只在片段露出的时刻反应

原文图注：Figure 2. Example neuron recorded in the slit-viewing test during PF. Responses to static whole-shape presentations are shown for the best, medium, and worst shape in the left column PSTHs. Full red line indicates shape onset. The four right columns represent the responses in the slit-viewing conditions. From left to right: rightward motion, leftward motion, upward motion, and downward motion of the shape behind the slit. The first, third, and fifth rows represent the PSTHs for the original slit-viewing conditions for the best, medium, and worst shape, respectively. The second, fourth, and sixth rows (blue shading) correspond to the random slit-viewing conditions. Full red line and 0 indicate the onset of the slit. Stippled red lines indicate the period in which the shape fragments were visible through the slit. Bin width is 50 ms. This neuron was recorded in Monkey MG.

左列三个 PSTH 是静态整形状的基准反应：best 强、worst 几乎没有、medium 居中。右侧四列是四个运动方向的狭缝条件（蓝底为 random 对照）。读图要点：虚线红标出片段在缝内可见的时段——该神经元只在其中很短的一段起反应，且反应时段在 LR 与 RL 之间正好互补（同一片段在一个方向的开头出现，在反方向则是结尾），这正是"对特定片段反应"的表现；vertical 方向反应弱，说明运动轴也影响反应强度。random 条件下反应总体更弱但仍保持形状偏好。这张图确立了两个核心观察：形状偏好跨 viewing 条件不变、但没有任何时间累积迹象，对应结果第 1 条。

图 3 · 另三个示例神经元：原序与随机条件可同样驱动

原文图注：Figure 3. Three example neurons recorded in the slit-viewing test during PF. The neurons were recorded in Monkey MT (A), Monkey MB (B), and Monkey MG (C). Same conventions as in Figure 2.

这三只猴子各出一个神经元，约定与图 2 相同。A 的神经元对 best 与 medium 的垂直运动条件都有反应，并在 medium 的 random 条件中也反应；B 的神经元在 best 的水平狭缝条件下对原序与随机条件都有相当的反应；C 的神经元反应时段更长一些，但表现出强烈的运动轴选择性。三者的共性是：反应仍局限在电影的一段、反应时段随方向变化、没有一例表现出反应随时间的持续累积。这张图补充说明图 2 的模式不是个例，也不依赖于随机对照里反应变弱这一具体细节，对应结果第 1 条的普遍性。

图 4 · 群体反应：形状偏好稳定、无时间累积

原文图注：Figure 4. Population responses in the slit-viewing test during PF. A, Left column, Population PSTHs of the response to the best (blue), medium (green), and worst (red) static, whole-shape presentations. Other four columns, The responses in the slit-viewing conditions, with motion directions being rightward (LR), leftward (RL), upward (DU), and downward (UD) from left to right (as in Figs. 2 and 3). The responses to the original and random slit-viewing conditions are shown in bold and light blue color, respectively. Bands indicate SEM. We normalized the responses of each neuron by its maximum firing rate (bin width 10 ms) across all conditions. Normalized responses of the 185 neurons of the 3 monkeys were averaged. Note the different y axes for the static and slit-viewing conditions. B, Mean firing rate of the 185 neurons (3 monkeys) in each of the slit-viewing conditions, for the best, medium, and worst shape. …… C, Mean firing rate of the 126 neurons (3 monkeys) that were tested during PF of the original (o), jumping (j), and random (r) slit-viewing conditions. ……

A 是最关键的一张群体图：左列静态整形状（注意 y 轴刻度与狭缝列不同，静态反应大得多），右四列为狭缝条件——粗线是原序、浅蓝是随机。读法：反应在运动起始后很快抬升，在片段可见期内大致平台、结束即回落，全程没有向"越来越高"的斜坡式累积；如果 IT 在做时间整合，best 形状曲线应当逐渐增强，但看不到。B 把 800 ms 平均反应按 形状×方向×条件 列出，形状主效应一目了然，且该偏好在原序与随机两种条件下都成立——支持"表征的是片段特征而非整形状"（结果第 2 条）。C 显示 jumping 条件的反应介于原序与随机之间，作者对其"高于随机"给出了特征相似性而非时间整合的替代解释（结果第 2 条末）。

图 5 · 解码：粗窗可解码、细窗见"片段指纹"

原文图注：Figure 5. Decoding of shape identity from the responses of the recorded neurons (n = 185 neurons with 10 trials per condition). A, Classification accuracy (% correct) when the classifier was trained with the responses to static shapes using the 800-ms-long analysis window. Testing was performed for the static (S) and the four slit-viewing motion directions (LR, RL, UD, DU). Horizontal stippled line indicates chance performance (33%). B, Classification accuracies when training shape identification using the responses of the LR slit-viewing condition and testing each of the five conditions. ……

A–E 分别是以静态、LR、RL、UD、DU 条件训练的分类器在五个条件上的测试成绩（虚线为 33% 机遇线，斜线柱是同条件五折交叉验证，蓝柱是跨条件泛化）。读法：同条件全部接近天花板；跨运动方向泛化极好，跨运动轴降到约 60% 但仍显著高于机遇；唯一的例外是 A——用静态整图训练、测试狭缝反应时掉到机遇水平，作者用两类条件信噪比与信息神经元子集的差异解释这种不对称（Van den Hurk & Op de Beeck, 2019）。F 是全文技术含量最高的部分：以 100 ms 窗对所有训练-测试 bin 组合做跨时间解码矩阵。同条件对角线上的红带很窄（>200 ms 即失配），而对侧方向面板上出现从右上到左下的镜像对角带——同一有效片段在两个方向的不同时刻出现，解码器因此能"错位"泛化。这个镜像结构是"片段驱动"最硬的证据，直接支撑结果第 3 条。

图 6 · 逆相关对照 Snapshot：狭缝期反应=对有效片段的反应

原文图注：Figure 6. Responses in slit-viewing and snapshot tests compared. A, Example neuron, recorded in Monkey MG. PSTHs (bin width = 10 ms) show the responses of the neuron in the LR (left PSTH) and RL (right) original slit-viewing conditions. Conventions as in Figure 2. The panels below the PSTHs represent the responses to the shape segments of individual frames using a color code, with hot and cold colors representing a strong and weak response, respectively. The responses in these "shape response plots" were computed using a bin of 75 ms duration and a delay of 70 ms relative to shape fragment onset. B, The first row represents the responses in the snapshot test for the same neuron as in A. ……

A 中 PSTH 下方的热图即"形状反应图"：横轴是空间上拼接的片段序列，热色表示该神经元对每帧片段（经 75 ms bin、70 ms 延迟归属）的反应强度——这个神经元对猿剪影的"手臂"部位敏感。B 第一行是同一神经元在 Snapshot 测试中对 11 个片段的静态反应，第二行把两方向的 binned 反应并排对齐（RL 方向的片段顺序被反转以便对齐）， Pearson r 接近 1。C 是群体分布：MG 中位 r=0.48、MT 中位 r=0.40，都显著大于 0。D 给出更多神经元（含两种缝朝向）的对照样例。这张图把图 5 的"指纹"落实为直接的刺激-反应对应，支撑结果第 4 条。

图 7 · 行为：猕猴确有裂隙知觉；眼动排除追踪

原文图注：Figure 7. Behavioral results in the DMS task and eye movements. A, Behavioral accuracy (% correct) in the DMS task for different combinations of sample and test stimulus conditions. S, Static whole-shape sample presentation; Slit, slit-view sample stimulus; N, new stimulus; O, old stimulus, X, match stimulus; Y, nonmatch stimulus. Thus, the condition "Slit N/O" corresponds to trials in which the sample stimulus was a slit-view presentation of a new stimulus, the match was a new shape, and the nonmatch an old shape. Error bars indicate 95% CIs. Horizontal red line indicates the chance level (50% correct). B, Mean horizontal and vertical eye position and 95% CIs during slit-viewing in the PF task for each of the four motion directions, obtained during the recordings in Monkey MT. ……

A 是行为核心：各样本/测试组合的正确率（误差棒为 95% CI，红线为 50% 机遇）。要点是"Slit"样本各组合都明显高于红线（整体 70%，新形状样本亦 67%），"原序狭缝样本、原序 vs 随机整图匹配"组合 67% 高于机遇，而"随机狭缝样本"各组合落在机遇附近（46%）。这组对比精确地把三种可能性分开：纯配对学习（被首见新形状的高成绩排除）、只靠孤立片段（被原序 vs 随机整图对照排除）、真正的 AP（被整体高于机遇支持）。B–D 是三只猴子（MG 含 DMS 前/中/后）在狭缝观看期间的眼位轨迹及 95% CI：基线校正后的眼位漂移很小、无随形状运动方向一致偏移的迹象，排除了 smooth pursuit 混淆，支撑结果第 5 条。

图 8 · 任务态与训练不改变"无整合"的性质

原文图注：Figure 8. Distributions of response properties in the PF and DMS tasks during slit-viewing. A, Distribution of the same axis Direction Index for the neurons recorded in the PF task for each of the 3 monkeys. Triangles represent medians. B, Distribution of the same axis Direction Index for neurons recorded in the PF task before training, during the DMS task, and in the post-DMS task. Data of Monkey MG. C, Distribution of the Direction Index for orthogonal axes for the neurons recorded in the PF task for each of the 3 monkeys. ……

A–D 是方向选择性的分布：同轴 Direction Index（同一运动轴上相反方向之差）中位数仅约 0.1（约 22% 的反应差），三只猴都显著大于 0 但很小——因为同轴两方向露出的有效片段相同；正交轴指数（C、D）明显更大，因为不同缝朝向露出的片段集合不同。若训练或任务执行促成了跨朝向的整形状整合，正交轴指数应当变小、反应时长应当变长——实际恰恰相反（D 中 post-DMS 的正交轴指数更小；F 中 DMS 及 post-DMS 的 peak duration 更短）。E、F 是 peak duration 分布，G 是 Separability Index 分布：G 在 DMS 后升高，但作者用 Shape Selectivity Index 同步升高（0.57→0.71/0.9）说明这只是形状选择性变 sharp 的副产品。整张图支撑结果第 5 条的"任务态对照"部分，是排除"注意/学习可诱导整合"这一替代解释的关键。

讨论

作者的结论相当克制：IT 神经元在狭缝观看期间确实携带形状身份信息——把反应在观看期内平均后，线性分类器可以解码形状，且泛化模式与人类 LOC 的 MVPA 结果一致；但这种"可解码性"来自迟缓积分（BOLD 的 HRF 或 800 ms 分析窗）对各自反应于不同片段的神经元取平均，不能作为"时间整合出整形状表征"的证据。四条证据链（反应时段对应有效片段、跨方向解码的镜像时间特异性、跨轴泛化弱于跨方向、随机条件下形状选择性仍在）共同指向片段表征。对方向指数虽小却显著的贡献，作者归因于 IT 已知的刺激历史效应（适应、序列效应），并强调这与"为形成整形状知觉而跨缝维护非视网膜坐标的形状信息"是两回事——后者的整合时长应远超 STS 已知的 100–120 ms 量级（Singer & Sheinberg, 2010；Vangeneugden et al., 2011）。他们还解释了与人类 fMRI 的一个表面矛盾：Orlov 与 Zohary 的随机条件以 60 Hz 打乱帧序，造成的强烈前后向掩蔽会压低选择性反应，因此该研究里随机条件解码失败并不能说明人类 LOC 做了整合而猴 IT 没有。局限方面，作者承认本研究无法回答整合发生在哪里：AP 依赖对形状速度的估计（可能涉及 dorsal 区如 hMT/V5），而层级更高、时间窗更长的区域（PFC 或 ASB 更前方的颞叶皮层）也可能参与；另外他们论证了 PF 任务与 ASB 位点选择都不是"没看到整合"的合理借口（Yin et al., 2002 显示分心任务下 LOC 仍有激活；Orlov 与 Zohary 在整个 LOC 及面/身体区都报道了表征）。最后指出，现行腹侧通路计算模型（Kar et al., 2019）可以容纳 IT 的这些反应，但要解释 AP 本身，模型必须增加跨时间的时空整合机制。

一句话总结

在我读来，这篇论文的价值在于给"LOC 表征整形状"的 fMRI 叙事补上了必要的神经生理脚注：把反应在时间上糊起来之后，什么都"看起来"像整形状表征——BOLD 如此，800 ms 窗也如此；只有细时间尺度的解码和逆相关才能暴露出真相是片段驱动的拼接前状态。它提醒我们，用整合性信号做 MVPA 得到的"泛化"与"存在整合机制"之间隔着一条至今仍未在 IT 被跨越的鸿沟，而这正是后续在更高级区域找 AP 底层机制的好起点。