Processing of facial emotion in the human fusiform gyrus

这篇文章用颅内脑电（electrocorticography, ECoG）直接记录了 8 名癫痫手术病人梭状回附近的高频脑活动，回答一个当时悬而未决的问题：通常被认为只管面孔"静态属性"（身份、性别）的腹侧颞叶皮层，是否也参与加工动态、有表情的面孔——这一功能按主流模型应归上颞沟（STS）附近。作者发现梭状回确实对动态表情有强响应，且静态响应点与动态响应点在空间上彼此错开、组织成碎片化的小亚区。它值得精读，因为它是少数能在"同一个人、同一块皮层"上直接比较静态与动态面孔编码的侵入式证据，并给出了情绪区分出现的极早时程（120 ms）。

研究背景

关于面孔信息如何被分解加工，最有影响的是 Bruce & Young（1986）提出的"分而治之"模型，后在 Haxby 等人（2000）的分布式神经系统中落实为两条部分分离的通路：不随时间快速变化的静态特征（身份、种族、性别）由梭状回外侧的面孔选择区（fusiform face area, FFA）处理，而情绪、视线、口部运动等可变特征（changeable features）由 STS 附近的 lateral temporal cortex 处理。但这个划分并非铁板一块：不少行为与影像研究显示情绪与身份加工存在交互，且功能成像发现面孔运动也能激活梭状回区域——只是 fMRI 空间与时间分辨率都不够，说不清这种激活发生在哪里、何时发生、与静态响应是否出自同一群神经元。

已有的颅内 ERP 研究在梭状回皮层记录到静态面孔的 P150–N200–P290 波形，但没有系统考察动态面孔；作者自己团队用同一批数据做过频谱解码研究（Tsuchiya et al., 2008），发现 50–150 Hz 成分既能区分面孔与几何对照、也能区分恐惧与快乐表情，且解码最好的位置在中梭状回（MFG）附近。剩下的缺口在于：腹侧颞叶对静态与动态面孔的响应究竟分布在哪里，是由相同神经元编码还是分属不同亚区——这需要亚厘米级的空间精度和毫秒级的时间精度，只有颅内记录能同时满足。

研究思路

核心策略是"同被试内对比"：把静态与动态两种面孔刺激放进同一个试验序列里，让每个记录位点先接受 1 秒静态中性面孔、再接受 500 毫秒从中性到恐惧或快乐的渐变变形（morph）动画，这样静态与动态响应可以在同一接触点上先后被测出，且动态期间身份不变、只有表情在变，从而把"可变特征"单独隔离出来测量。对照刺激是同尺寸椭圆窗内的放射棋盘格，其静态段与动态段（径向扩张/收缩）与面孔刺激在结构上一一对应，保证"面孔 vs 非面孔"的对比不掺入低级视觉因素的混杂。

测量指标选了事件相关带功率（event-related band power, ERBP）的高伽马段（70–150 Hz）而非 ERP，理由有三：作者团队此前已证明该频段携带面孔与表情的判别信息；高伽马的空间分布比低频更局限，适合做功能性定位；在猕猴中高伽马功率与多单元放电的相关好于低频段。电极定位则不用数值坐标系，而是按每位病人的脑沟脑回手工划分（内外侧以脑回为界，前后向从颞极到枕极十等分），因为他们认为皮层功能与脑回解剖关系密切，而腹侧颞叶个体差异大到无法做自动配准。

方法

被试为 8 名药物难治性癫痫病人，因临床定位致痫灶而植入皮层电极（研究不涉及致痫灶区域），均为爱荷华大学伦理批准下的知情同意。刺激取自 Ekman & Friesen 面孔集的 4 个人（2 女）的中性、快乐、恐惧三表情灰度照片，统一大小（7.5°×10° 视角）、亮度、对比度和位置；动态段由 28 帧线性插值变形构成，60 Hz 刷新播放 500 毫秒。每名被试做两节实验（情绪判别与性别判别，顺序随机），每节 200 试次（morph-to-fear、morph-to-happy 各 80，非面孔对照 40），刺激消失后按提示做三项迫选（快乐/其他/恐惧，或女/其他/男）。

记录方面共分析了腹侧颞叶 100 个接触点（右半球 48、左半球 52），电极间距 1 cm 或 5 mm；信号参考头顶电极，1.6 Hz–1 kHz 滤波，采样 1–2 kHz，并用光电二极管记录屏幕光亮变化以校准刺激呈现时刻。分析时先用 Morlet 小波卷积把信号分解到 5 个高伽马子带（中心频率 73.5、84.4、97、111、128 Hz），功率按刺激前 −600 至 −200 ms 的基线中位数归一化。统计采用 5 个时间窗（基线、静态早 150–450 ms、静态晚 550–850 ms、动态 150–450 ms、动态后 50–350 ms）内的 Wilcoxon 秩和检验，多重比较用错误发现率（FDR）< 0.05 控制；"面孔响应"需同时满足显著高于基线、显著高于对照、最大 ERBP 比对照至少大 50% 且 1 dB 三条标准。此外还做了单试次 ROC 分析，用曲线下面积（AUC）衡量单个接触点单试次水平的判别力（AUC = 0.5 为完全重叠，越接近 1 分离越完美）。

主要结果

1. ERP 与 ERBP 分道扬镳：静态中性面孔在梭状回附近诱发典型的 P150–N200–P290 ERP 波形，但面孔运动检测不到任何 ERP；与此形成鲜明对照，高伽马 ERBP 对静态与动态面孔都有强响应（图 2）。这直接说明"动态面孔在梭状回没有响应"的旧印象是测量手段造成的假象。
2. 静态响应点与动态响应点部分分离、且各自成簇：100 个接触点中 24 个对静态面孔有响应、27 个对动态面孔有响应（左右半球分布无显著差异，静态 R:14/48 L:10/52，p=.35；动态 R:15/48 L:12/52，p=.38）；其中 11 个仅响应静态、14 个仅响应动态、13 个两者皆响应。性质相近的接触点倾向于聚在一起，有的性质转变非常陡峭——在 5 mm 内面孔动态响应就骤降（图 3、图 4A）。
3. 表情调制存在明显的右半球偏侧化：100 个接触点中 23 个的 ERBP 受动态表情显著调制（右 19/48 vs 左 4/52，Fisher 精确检验 p=.0002）；其中 20 个恐惧大于快乐（fear > happy），只有 4 个快乐大于恐惧，且后者在空间上被 fear > happy 或无调制的位点包围、孤立存在（图 3C、图 4B）。表情调制还出现在 7 个非面孔响应的接触点上，说明情绪调制与面孔响应部分独立。
4. 情绪区分出现得极早，且方向随时间反转：恐惧与快乐响应差异最短在动态刺激开始后 120 ms 即出现；300 ms 内出现的早期差异多数是快乐 > 恐惧，将“而恐惧 > 恐惧占优的模式集中出现在动态相后期（图 5）。”修而恐惧 > 快乐占优的模式集中出现在动态相后期（图 5）。作者认为早期响应更像自下而上的前馈加工，晚期的 fear > happy 则可能与来自杏仁核的反馈一致。
5. 单试次判别力：在图 2 的代表性右 LFG 接触点上，面孔与棋盘格对照的单试次最大 AUC 静态、动态段均达 0.99；全体 24 个静态面孔响应点的平均最大 AUC 为 0.89（0.72–1），27 个动态响应点为 0.84（0.65–1），显著高于无响应接触点（p < 10⁻¹² 与 p < 10⁻⁵）。情绪判别难得多：fear > happy 接触点平均 AUC 0.67（0.60–0.79），happy > fear 为 0.64（0.61–0.70）（图 6）。

图注解读

图 1 · 试验时间线与五个分析时间窗

原文图注：Figure 1. Trial design. A trial began with a baseline static checker pattern for 1 sec (−1 to 0), followed either by a static neutral face or by a radial checker pattern (0–1). Two seconds from the trial onset, the static neutral face started to morph into either a fearful or a happy expression, or the radial checker pattern started to expand or contract. The morph period lasted 500 msec (1–1.5). The last frame in the morph movie stayed on for another 1 sec (1.5–2.5). After the stimulus was extinguished, subjects were prompted to make a response to discriminate the stimulus. At the bottom of the figure, time windows of epochs used in the epoch-based analysis are indicated by black bars.

这张图规定了全部分析的参照系：0 秒是静态刺激（中性面孔或放射棋盘）出现，1–1.5 秒是动态变形段，2.5 秒后熄灭并按键判别。底部的黑色横条标出五个 epoch 的位置——基线、静态早晚段、动态段与动态后段。读懂它才能理解后面所有 ERBP 曲线的横轴（0 与 1 秒分别是静态与动态刺激的起点），以及"面孔响应""表情调制"各自的统计比较窗口。

图 2 · ERP 只见静态，ERBP 静态动态皆见

原文图注：Figure 2. Face-responsive ERP elicited by static neutral faces (top traces) and ERBP elicited by both static and dynamic faces (bottom traces), recorded at the electrode located in the right LFG as indicated by the yellow star on an MRI surface rendering of the ventral temporal cortex. (A) Following the onset of the static neutral face at the beginning of the trial, we observed the positive–negative–positive (P150, N200, and P290) waveform corresponding to static neutral faces (Allison, Ginter, et al., 1994; Allison, McCarthy, et al., 1994); however, face motion did not elicit a detectable ERP. (B) In sharp contrast to ERPs, we observed robust ERBP responses elicited by both static faces and dynamic morphing of facial expression. Ranges between 1 SEM above and below mean ERP or ERBP are represented by the thickness of lines (red, morph-to-fear trial [n = 149]; blue, morph-to-happy trial [n = 146]; black, control [n = 80]). A = anterior; P = posterior; L = lateral; M = medial.

这是全文的"概念型结果图"。A 面板：静态中性面孔一出现，ERP 就出现 P150–N200–P290 三峰波形，而到 1 秒处面孔开始运动时 ERP 几乎消失。B 面板：同一位点的高伽马 ERBP 在 0 秒（静态出现）与 1 秒（动态开始）两个时间点都大幅抬升，红色（变恐惧）、蓝色（变快乐）与黑色（棋盘对照）清楚分开。线宽代表 ±1 SEM。这一对比支撑主要结果第 1 条：动态面孔信息在梭状回是真实存在的，ERP 看不见它不代表皮层不编码它。

图 3 · 逐个接触点的响应谱：性质相近者成簇、转变可陡可缓

原文图注：Figure 3. ERBP responses to both static and dynamic stimuli. ERBPs were recorded on the left ventral cortex (A) and the right ventral cortex (B and C). 0 and 1 sec on the x axis indicate onsets of static and dynamic stimuli, respectively. Red, blue, and black ERBP plots represent responses to morph-to-fear, morph-to-happy, and nonface control, respectively. Thickness of lines represents 1 SEM from the mean. White and black stars indicate face-responsive ERBP elicited by static faces and dynamic faces, respectively. Red dots indicate epochs where ERBPs elicited by fearful dynamic faces were larger than those elicited by happy dynamic faces, and blue dots indicate epochs in which ERBPs elicited by happy dynamic faces were larger than those elicited by fearful dynamic faces. A = anterior; P = posterior; L = lateral; M = medial.

读法：每个小面板是一个接触点在两个刺激时间点（0 与 1 秒）后的 ERBP 时间过程，左上大数字是接触点编号，面板上方配电极在皮层表面渲染图上的位置；白星标静态面孔响应、黑星标动态面孔响应，红/蓝圆点标某段时间窗内恐惧大于快乐（或反之）显著。左上小数字自上而下是 morph-to-fear、morph-to-happy 与对照的试次数。这组图支撑主要结果第 2 条：相邻接触点的响应性质可以截然不同（如 5 mm 内动态响应骤降），静态-only 与动态-only 位点真实存在，且恐惧 > 快乐的红点集中出现、快乐 > 恐惧的蓝点孤立出现。

图 4 · 群体汇总：面孔响应无偏侧，情绪调制偏右

原文图注：Figure 4. A summary count is provided for each region whose boundaries are defined by gyri in medial–lateral direction and 10 equally divided segments in anterior–posterior direction. (A) Distribution of contacts with significant ERBP response to static and dynamic faces. Numbers in each segment indicate counts of electrodes with face-responsive ERBP across all subjects elicited by static face (top left), dynamic face (top right), both static and dynamic face (bottom left), and total number of contacts (bottom right). (B) Distribution of contacts with significant ERBP response to dynamic facial expression. Contacts with significant modulation of ERBP by dynamic facial expression were significantly more common in the right hemisphere than the left hemisphere (R: 19/48, L: 4/52; Fisher's exact test, p = .0002).

这是一张把 8 名被试 100 个接触点投影到统一"脑回 × 前后十段"网格上的计数图：内外侧按脑回分列（ITG、LFG、MFG、ILG 等），前后向从颞极到枕极十等分，每格里的数字是落入该格的电极数。A 部分分四张小图统计静态响应、动态响应、双响应与总接触数，可见面孔响应点分布散在梭状回前后多个段、左右大致均衡；B 部分统计表情调制点，右半球 19/48 对左半球 4/52 的悬殊对比一目了然（p=.0002）。这支撑主要结果第 2、3 条：面孔响应本身无偏侧化，而对表情变化的敏感性显著偏右。

图 5 · 情绪调制的时间结构：早期快乐占优、晚期恐惧占优

原文图注：Figure 5. Modulation of ERBP by dynamic facial expression. (A) The figure shows a face-responsive ERBP elicited by both static (starting at 0) and dynamic (starting at 1, x-axis scale is same in A and B) epochs, recorded at the electrode located in the right LFG (same data as shown in Figure 2). The happy > fear modulation was seen in the early dynamic epoch, whereas a fear > happy modulation was seen in the late dynamic epoch. Thickness of ERBP lines represents ±1 SEM from mean. (B) Results of serial Wilcoxon rank sum tests of 23 contacts that have significant modulation by expressive facial motion. With this analysis, we could visualize that brief and/or less significant happy > fear responses that might have been missed with our epoch-based analysis were also temporally concentrated in earlier periods after the onset of the dynamic phase. Red lines indicate responses to fearful dynamic faces that were significantly (FDR < 0.05) greater than those to happy dynamic faces, and blue lines indicate vice versa. (C) Same traces as B, with expanded time scale from 0 to 300 msec after the onset of the dynamic epoch (at 1 sec in A and B). Emotional modulation was seen as early as 120 msec following the onset of the motion.

A 面板用图 2 同一位点展示"方向反转"：动态段早期（约 1–1.3 秒）蓝色（快乐）高于红色（恐惧），晚期反转为红高于蓝。B 面板把 23 个有显著表情调制的接触点做逐时间点的序列 Wilcoxon 检验，每个接触点画一条 p 值时间序列——红线为恐惧显著大于快乐的时段，蓝线反之；这样连 epoch 分析漏掉的短暂、边缘显著的 happy > fear 响应也显现出来，且它们同样集中在动态开始后的早期。C 面板把 0–300 ms 放大，显示情绪调制最早 120 ms 出现。这张图支撑主要结果第 4 条，也是讨论中"前馈与反馈可能并存、分工在不同时间段"论点的直接证据。

图 6 · 单试次判别：面孔近乎完美，情绪勉强过半

原文图注：Figure 6. (A), (B), and (C) show vertically stacked single-trial ERBPs of all trials of a representative contact in the right LFG, which is the same contact in Figure 2, Contact 3 of Figure 3C, and in Figure 5. ERBPs are sorted by maximum ERBP during the 50–900 msec period after onset of static stimuli in A and by maximum ERBP during the 50–900 msec period after onset of dynamic stimuli in B and C. Trials are grouped into face trials and nonface control trials in A and B and morph-to-fear, morph-to-happy, and nonface control trials in C. Most of the ERBPs responding to face stimuli in both static and dynamic epochs are larger than ERBPs elicited by nonface control stimuli. (D) AUC from our ROC analysis discriminating face from nonface control. The AUC reached almost 1 in both static and dynamic epochs. (E) AUC discrimination of morph-to-fear from morph-to-happy was not as good as discrimination of face from nonface control.

A–C 面板把该代表性接触点的所有单试次 ERBP 按最大值排序垂直堆叠，A/B 中面孔试次（上）与对照试次（下）几乎不重叠，C 中恐惧与快乐的堆叠则犬牙交错。D–I 面板给出对应 ROC 的 AUC 曲线与四组直方图：面孔判别的最大 AUC 在静态、动态段都接近 1（D），恐惧/快乐判别明显较差（E）；直方图显示面孔响应接触点（红）的最大 AUC 分布整体右移于无响应接触点（黑）与全部接触点基线（灰）之上。这支撑主要结果第 5 条：单试次水平上高伽马功率几乎完美区分"是不是脸"，但对"哪种情绪"的区分只略高于随机（0.6–0.7），说明情绪信息的神经表征比类别信息稀薄得多。

讨论

作者的结论归结为三条：腹侧颞叶存在若干小面积的面孔响应区，其精确位置因人而异；这些区域的选择性同时涵盖不变与可变的面孔属性，不同小亚区分别特化于静态、动态或两者兼有。关于情绪调制的来源，作者的推理建立在时程上：以往静态刺激的颅内 ERP 研究中情绪差异要到 300 ms 以上才出现，支持"杏仁核/前额叶反馈"的慢机制，而本研究 120 ms 即出现的 ERBP 情绪差异与邻近皮层面孔/物体选择响应的前馈时程一致，故至少部分响应应是自下而上的；但作者并不排除快速反馈的存在。有趣的是方向问题：fMRI 文献普遍报道 FFA 对恐惧面孔的增强被认为依赖杏仁核反馈，本研究中 fear > happy 占主导且出现在动态相后期，与该反馈假说相容；但少数位点上早期出现的 happy > fear 又与"全局慢反馈"图景不符——由于调制只出现在孤立接触点而非全面性现象，任何反馈都必须指向特定亚区，或者 BOLD 与高伽马测量的是不同层面的调制。

作者明确交代的局限有两点。一是"面孔响应"一词只指对面孔相对于棋盘格的相对选择性，未与其他物体类别做穷尽比较，不能引申为一般意义上的面孔选择性。二是刺激设计上动态面孔只有情绪表情一种，无法把"面孔运动"与"面孔情绪"分离——由此产生的恐惧/快乐选择性既可能反映情绪范畴本身，也可能只反映特定运动线索（如眼部、口部运动的差异）的差异；未来需要考察视线与口部运动等具体成分，才能说明颞叶究竟如何构建面部情绪的表征。文中亦未详述性别判别任务的行为结果与皮层响应的对应分析。对话对象上，这篇文章把猕猴颞叶"多斑块互连、局部特化"的面孔加工观（Tsao、Moeller、Freiwald 等）引进了人类腹侧颞叶的讨论，并与 Haxby 分布式模型、Tsuchiya 等的前期解码研究形成接力。

一句话总结

我认为这篇文章最大的价值在于用"同一试验里先静态后动态"的巧妙设计，把一个被 fMRI 分辨率遮蔽的事实直接摆上了台面：梭状回不是一块只会认脸的"静态模块"，而是嵌着静态、动态两套错落分布的小系统的马赛克。ERP 与 ERBP 在同一数据里一个看不见、一个看得见的对比也很教科书式地提醒我们：没有响应，常常只是没有找对测量窗口。我自己存一点保留的是，情绪判别的单试次 AUC 只有 0.6–0.7，而且情绪与运动线索完全混杂——所以"梭状回编码情绪"这一说法应当谨慎地读作"梭状回的表情动画响应带情绪信息"，而非情绪范畴的清晰表征。