What is changing when: decoding visual information in movies from human intracranial recordings

这篇文章用癫痫病人手术植入的颅内电极，在受试者被动观看商业电影的同时记录颅内场电位，回答了两个在自然视觉条件下才真正成立的问题：大脑信号能否在约 100 毫秒内"察觉"画面发生了大变化（when），以及能否在单次呈现、不靠重复平均的情况下解码出变化的内容（what）。它值得读，是因为它把视觉识别研究从"静态刺激、重复呈现、对齐刺激起始"的实验范式，推向了连续流动、没有明确起点的真实视觉输入，并给出了一套可复用的解码方法学框架。

研究背景

传统视觉识别研究几乎都建立在同一套简化之上：给被试呈现孤立的静态图形，有明确的刺激起始与结束时间，把同一刺激重复多次并对其神经响应做平均。腹侧视觉通路（ventral visual stream）的研究正是靠这种范式揭示了形状选择性随层级逐渐升高、并对刺激变换愈发不变的一系列计算步骤。在此基础上，人们已经知道可以用机器学习方法在单次试次中读出图像内容的信息，甚至可以纯粹从神经响应中判断刺激何时出现。但问题在于：这些原则能在多大程度上推广到真实视觉——一个没有明显"刺激起始"时刻、输入持续轰炸、图像远比均匀背景上的单一形状更复杂混乱的连续流？作者引用 Felsen & Dan、Rust & Movshon 等人的讨论指出，这一外推是否成立当时并不清楚。

用电影作为刺激的神经科学研究（从 Vinje & Gallant 的 V1 工作，到 Hasson、Nishimoto、Huth 等的 fMRI 工作）已经表明，从静态闪现刺激得出的视觉加工一般原则在动态刺激下大体保持，但也暴露出重要差异：比如初级视皮层上用闪现光栅构建的模型无法解释电影响应的全部方差，高位视觉区对面形复杂形状的响应也强烈受电影的动态特性调制。留下的缺口在于：在连续观看条件下，大脑必须自己判断"何时发生了视觉变化"并把信号对齐到变化上，还要在单次事件中解码变化内容，而此前缺少一套用侵入性人类记录同时回答这两个问题的方法。

研究思路

作者的核心策略是把电影里的"剪切"（movie cuts，即相邻两帧之间的剧烈画面跳变）当作自然视觉中不连续变化的粗略代理，并假设它可以充当动态刺激里近似"刺激起始"的时间标记。围绕这个标记，他们把问题拆成两步：先用神经信号本身判断视觉输入何时发生大变化（ thereby 解决自然视觉中没有对齐锚点的问题），再对齐之后解码每个事件里变化的内容是什么。逻辑上还有一个逐级加压的阶梯：第一个实验用短片段多次重复，检验信号的可重复性并建立解码；第二个实验只用一次完整电影，检验所有结论能否在"每个事件只出现一次、无法平均"的更苛刻条件下成立——这正是真实视觉的本质要求。

方法

被试是 15 名药物难治性癫痫患者（4–36 岁，8 男，2 左利手），因临床定位致痫灶而植入颅内电极，电极位置完全由临床需要决定。记录用的是直径 2 mm 的硬膜下电极（间距 1 cm，每人 26–144 个，共 1284 个电极：实验一 954 个、实验二 330 个），采样率 256–2000 Hz 不等。分析以 0.1–100 Hz 的宽带电压信号（broadband signal）为主，补充分析了 alpha（8–15 Hz）、低 gamma（25–70 Hz）和高 gamma（70–120 Hz）频段的功率。实验一中 11 名受试者无声观看三段 12 秒的卡通片段（约 4×3 度视角，30 fps），每段重复 10–68 次；实验二中 4 名受试者带声音完整看一遍一部长电影（《小鬼当家 2》《查理和巧克力工厂》或《月之阴影》，约 18×12 度视角，24 fps），电影被切成 25 秒一段、中间插入静态图片（属于另一实验）。电影剪切在实验一中手工标注，在实验二中先自动检测再人工核对；两个剪切之间的时段称为一个"镜头"（shot，长 0.4–3.73 秒，平均 1.67 秒）。"剪切响应电极"定义为剪后 50–400 ms 窗口的宽带信号幅度范围（max−min）与剪前 −400 至 −50 ms 窗口显著不同（p<0.01 置换检验）的电极。解码使用最大相关系数分类器（maximum correlation coefficient classifier），输入为每电极 50 ms 时间箱的平均电压，训练数据上做 z 分数标准化和 ANOVA 特征选择，10 折交叉验证、每个时间点重复 20 次解码；实验一把同区域电极跨被试汇成"伪群体"（pseudo-population，每区域取选择性最高的 8 个电极），实验二则因各人看的电影不同而以单电极解码为主。作者还专门做了事后眼动实验（7 名实验室受试者、红外眼动仪），在 7 名实验室受试者的事后眼动实验中未观察到剪切诱发的一致眼跳，作者据此认为响应更可能由视觉变化而非眼跳驱动。

主要结果

1. 剪切触发一致、短暂、约 100 ms 潜伏期的场电位响应。右下枕回（inferior occipital gyrus）一个示例电极在几乎每次重复中于剪切后约 100 ms 出现明显电压偏转，约 400 ms 内回到基线；片段 1 的 10 个剪切中有 9 个在剪切后出现跨重复的相关性显著升高（图 2）。实验一 954 个电极中 51 个为剪切响应电极，主要位于枕极、下/中枕回，少数在梭状回、舌回和下颞回；实验二 330 个电极中 61 个为剪切响应电极，主要位于楔叶、舌回、梭状回、下枕回和枕极（图 6）。
2. 跨重复一致的响应几乎只集中在剪切后约 300 ms 内。对全部电极统计，跨重复显著相关的时间段绝大多数在剪切后 300 ms 内起始；随时间离剪切越远，相关系数与一致段时长都小幅下降，剪切以外偶见少量一致响应段（图 3）。
3. 可以从腹侧视觉区解码"有没有剪切"并检测连续流中的视觉转折。在 25 个至少含 8 电极的脑区中，5 个区（下枕回、梭状回、中枕回、下颞回、枕极）的 8 电极伪群体显著高于机会水平（0.5）地分辨"有剪切 vs 无剪切"段，平均准确率 0.62±0.04（图 4B）；用 d′（d prime，信号检测论的感受性指标）在整段 12 秒连续流上检测视觉转折，5 个区显著，平均 d′=0.48±0.18，预测转折相对最近剪切的平均潜伏期 690±610 ms，且其分布与随机显著不同（p<10⁻¹⁰，Kolmogorov-Smirnov 检验）（图 4C–D）。
4. 能解码变化的内容，并在跨镜头、跨影片的变换下保持不变性。对 13 个镜头做 13 选 1 分类，7 个区显著高于机会（1/13），平均 0.27±0.07（图 5B）；"有动物 vs 无动物"的解码在三个层级上递进：同一镜头内重复间泛化 6/7 区显著（平均 0.74±0.06），跨镜头泛化 4/7 区显著（平均 0.71±0.05），跨不同影片泛化仍有 3 个区（下枕回、梭状回、下颞回）显著（平均 0.68±0.07）（图 5C）。时间动态上，分类准确率约在剪切后 100 ms 开始上升、约 400 ms 达峰（图 5D）。
5. 结论推广到单次呈现的完整电影。实验二中单电极即可显著区分有/无剪切段（下枕回、楔叶、内侧舌回、枕极 4 区显著，图 7B）；"有脸 vs 无脸"的镜头解码在下枕回和梭状回达到小但显著的单电极准确率，分类准确率从剪后略早于 200 ms 处（约 150–200 ms）开始上升、约 300 ms 达峰，250–850 ms 显著高于机会。，250–850 ms 显著高于机会（图 7C–D）。

图注解读

图 1 · 两个实验的范式与剪切示例

原文图注：Fig. 1. Experimental paradigm and movie cuts. A. Experiment I - Three 12s clips from commercial cartoon movies were presented multiple times without sound, at 30 frames per second, and subtending ~4 3 degrees of visual angle (see Supplemental Table 1). The first frame, three middle frames (demonstrating a movie cut between frames 130–131), and the final frame from clip 1 are shown (Methods). Subjects passively viewed the 12s movie clips. B. Experiment II – A full-length movie was shown once through with sound, at 24 frames per second, and subtending ~18 12 degrees of visual angle……

这张图给出实验设计总览：A 是实验一（12 秒卡通片段、无声、重复呈现），B 是实验二（完整长电影、有声、只看一遍），各自配了首帧、展示剪切的中间三帧和末帧，让读者直观看到"剪切"就是相邻帧间的画面剧变。它支撑的是方法部分对两种记录范式的描述，也是全文"when/what"两问的刺激基础。

图 2 · 剪切诱发一致响应的示例电极

原文图注：Fig. 2. Example electrode showing consistent physiological responses to movie cuts (Experiment I). A. Electrode location. The electrode was located in the right inferior occipital gyrus (Talairach coordinates = [35.9, 82.8, 14.5]). B. Raster plot showing the intracranial field potential (IFP) surrounding the cut transition shown in Fig. 1A (frame 130–131 in movie clip 1). Each row denotes a repetition of the movie (n = 32 repetitions)……

读法：A 标出该电极位于右下枕回；B 的栅格图每行是一次重复，颜色编码电压，可见剪切后几乎所有行都出现相似的电压变化；C 展示整段 12 秒的电压轨迹（黑线为均值、灰线为单次重复，虚线为剪切位置），说明多数但非全部剪切都诱发大偏转；D 是任意两次重复之间逐 50 ms 算得的平均 Pearson 相关系数曲线——除剪切后的尖峰外基本围绕零，底部横线标记 p<0.01 的显著一致时段。这张图支撑主要结果第 1 条：剪切确实在单次试次水平上触发约 100 ms 潜伏期、约 400 ms 内恢复的响应。

图 3 · 一致响应的时间分布集中于剪切后约 300 ms

原文图注：Fig. 3. Properties of neural responses that were consistent across trials. A. Distribution of the onset of segments with statistically significant correlation across repetitions in all electrodes (n = 954), calculated with a sliding window of 50 ms duration, as a function of time from the previous cut. Bin size = 100 ms (Methods). These segments of consistent correlation across repetitions begin mostly within the 300 ms following a cut……

读法：A 的横轴是相对上一个剪切的时间、纵轴是一致响应段起始的数量分布，峰值落在剪切后约 300 ms 内；B 显示这些一致段的平均相关系数随离剪切的时间增大而小幅下降；C 显示一致段的平均持续时间也随时间推移小幅缩短。这是群体层面的定量版图 2D，支撑主要结果第 2 条——可重复的神经响应与剪切在时间上强绑定。

图 4 · 腹侧视觉区可解码剪切并检测连续流中的转折

原文图注：Fig. 4. Movie cuts and shots can be decoded from ventral visual cortex regions. A. Location of all electrodes in Experiment I projected onto a common reference brain (Freesurfer fsaverage brain) shown at lateral and ventral views. Each dot corresponds to one electrode (total = 994 electrodes, Supplemental Table 1). Seven anatomical regions (out of 25 regions with at least eight electrodes) with significantly above chance decoding performance in any of the decoding tasks in B or C are highlighted……

读法：A 是所有电极在公共模板脑上的投影，高亮了 7 个解码显著的解剖区；B 为各区域 8 电极伪群体区分"有剪切 vs 无剪切"段的准确率（机会 0.5，剪后 50–400 ms 平均），星号表示 p<0.01 置换检验显著；C 用 d′ 衡量在整段 12 秒连续流上逐 50 ms 检测视觉转折的感受性；D 比较预测转折与最近真实剪切的潜伏期分布和随机分布（Kolmogorov-Smirnov 检验）。这张图支撑主要结果第 3 条，即"何时"的解码在多个腹侧区成立。

图 5 · 解码内容并跨镜头、跨影片泛化

原文图注：Fig. 5. Visual information generalizes across movies in 12s clips. A. We decoded shots with an animal versus shots without an animal, first from repetitions of the exact same shot pairs ("within shot", blue), next with generalization across different shots in the same movie clip ("across shot", red), and finally across movie clips ("across clips", green)……

读法：A 示意三级泛化条件（同镜头重复间→同片段跨镜头→跨影片），并配有动物/无动物镜头的示例帧；B 是 13 个镜头的 13 选 1 分类准确率（机会 1/13，剪后 50–400 ms 平均）；C 是"有动物 vs 无动物"的准确率，蓝/红/绿对应三级泛化，可见从 0.74 到 0.68 的温和衰减但仍显著；D 是跨所有被试伪群体后的动态准确率曲线，注意蓝线（within shot）在剪切前就已高于机会——因为训练与测试集在剪前画面完全相同，作者在正文明确提醒不要过度解读。这张图支撑主要结果第 4 条："什么内容"的解码在像素级剧烈变换下保持不变性。

图 6 · 完整电影中剪切响应的示例电极

原文图注：Fig. 6. Example electrode showing a consistent physiological response to movie cuts in full-length movies. A. Location of one example cut-responsive electrode (Experiment II) in the left occipital pole (Talairach coordinates = [2.2, 92.4, 4.3]). B. Raster plot showing the intracranial field potential (IFP) surrounding all cut transitions in the full-length movie (Home Alone 2). Each row denotes a different cut (n = 1 630 cuts). The color indicates the IFP at each time point (bin size = 0.5 ms, see color scale on right)……

读法：与图 2 呼应但条件苛刻得多：每一行不再是同一剪切的重复呈现，而是长电影《小鬼当家 2》里 1630 个内容各异的剪切中的每一个（每个只出现一次）。栅格图上仍可见大量行在剪切后出现相似的电压变化，C 的平均时间曲线显示偏转约在剪切后 100 ms 开始。这张图支撑主要结果第 5 条的前半部分：单次呈现条件下剪切响应依然可靠。

图 7 · 单次呈现长电影中的剪切与内容解码

原文图注：Fig. 7. Movie cuts can be decoded from a single presentation of a full-length movie. A. Location of all electrodes in Experiment II projected onto a common reference brain (Freesurfer fsaverage brain) shown at lateral and ventral views. Each dot corresponds to one electrode (total = 330 electrodes, Supplemental Table 1). The five anatomical regions (out of 20 regions with at least five electrodes) with significantly above chance classification accuracy in any of the decoding tasks in Fig. 7 are highlighted……

读法：A 是实验二 330 个电极的分布与 5 个高亮区；B 是单电极区分有/无剪切段的平均准确率（机会 0.5，虚线），下枕回、楔叶、内侧舌回、枕极显著，各区的电极数在图注中逐条给出；C 是"有脸 vs 无脸"的解码，仅下枕回显著、梭状回更弱但仍显著；D 是四个被试各自建伪群体再事后平均的动态准确率，250–850 ms 显著高于机会，峰值约在剪后 300 ms。这张图支撑主要结果第 5 条：实验一的 when/what 结论外推到了最接近自然观看的单次呈现条件。

讨论

作者把自己定位为方法学贡献：证明了即便用场电位这种粗糙信号和有限的临床采样，也能在连续视觉流的单次事件中约 100 ms 内检测到视觉变化，其潜伏期与猴和人腹侧视皮层对静态图像的经典报告接近，说明静态刺激范式得到的初期响应动力学可以外推到动态连续观看。对于"为什么剪切之外几乎没有跨重复一致的响应"，他们给出三个非互斥的解释：电极采样由临床决定、远非穷尽；场电位整合大量神经元的粗信号可能漏掉对电影其他方面的响应；情绪等视觉以外的高级认知可能本就没有明确的时间起点或存在快速适应（第一次看比第十次看情绪更强），因而无法跨重复稳定。他们同时坦率承认电影的局限：剪切是导演人为制造的一阶不连续，与自然观看中由物体运动、遮挡、光照和眼动造成的不连续只是近似，而且动物/人脸标签与运动能量、对比度变化高度相关——驱动这些强烈响应的更可能是剪切的剧烈对比与运动能量变化，而非真正的类别选择性。作者最后推测，自然观看下腹侧视觉流自身的信号也许就足以完成"何时/何物"的对齐与解读，不一定需要眼动的传出副本或背侧通路的外部对齐信号。

一句话总结

在我看来，这篇文章真正的贡献不是发现了新脑区，而是示范了"把刺激起始时间从实验设计里拿掉之后，大脑信号自己就能把它找回来"——电影剪切只是拐杖，约 100 ms 的响应潜伏期与跨影片的不变性解码才是重点。它也诚实地划出了边界：场电位信号里一致的东西几乎只有剪切后的瞬态，这既可能是采样和信号粗糙所致，也可能提示高级认知在自然条件下本就不以这种尖锐瞬态的形式存在，留给后来者的正是这条缝隙。