The representation of information about faces in the temporal and frontal lobes

这是 Edmund Rolls 对其实验室数十年猕猴单细胞记录工作的一次集中综述，主题是"大脑如何表征面孔信息"。文章沿一条清晰的链条推进：颞下回视觉皮层（inferior temporal visual cortex）建立对面孔身份的位置、大小、视角不变的稀疏分布式表征，上颞沟（superior temporal sulcus, STS）皮层编码表情、注视、头动等社会信号，这些输出进入杏仁核（amygdala）与眶额叶皮层（orbitofrontal cortex, OFC）参与情绪与社会行为。它值得精读，因为把"表征是什么"（信息论分析）、"表征怎么来"（VisNet 模型与痕迹学习规则）、"表征干什么用"（情绪与社会行为）三层论证编在了一处。

研究背景

面孔加工在灵长类颞叶皮层中有专门化的神经元基础，这一点自 Gross、Perrett 与 Rolls 等人的早期工作以来已成共识。Rolls 选择面孔作为突破口有三个理由：这一系统神经元数量大、便于实验分析；面孔识别与表情识别对灵长类（包括人）的社会情绪行为至关重要；理解这一系统也有助于解释人类颞叶/额叶损伤的后果。已有的解剖与生理图景大致是：视觉信息经 V1、V2、V4 等皮层阶段逐级汇流到颞叶；猕猴颞叶按细胞构筑学（cytoarchitecture）分为 TEa、TEm、TE3、TE2、TE1 等区及上颞沟内的 TPO、PGa、IPa、TS、TAa 等区（图 1）。在超过 2600 个神经元的记录中，功能分化相当清楚：TPO、PGa、IPa 是多模态区；TE 系列各区基本是单模态视觉区；面孔选择性神经元在 TPO、TEa、TEm 中约占对静态刺激有反应的视觉神经元的 20%，其他颞区仅 4-10%——也就是说，没有任何一个区专门只管面孔。表情、运动、手势相关的神经元更多见于上颞沟皮层，而面孔身份神经元更多见于 TE 区（Hasselmo, Rolls & Baylis, 1989）。

与此同时，人类 fMRI 领域虽已发现梭状回面孔区等特化区域，却始终存在争论：某个脑区的激活究竟意味着其中神经元各自高度特异、还是调谐宽泛地混杂响应不同类别？fMRI 回答不了单个神经元编码什么，而单细胞记录可以。更大的理论悬案有两个。其一是编码方式：一个物体/面孔由一个"祖母细胞"（grandmother cell，即单个神经元专管一个刺激）编码，还是由一群各有所长的神经元集体编码？其二是视觉系统的根本难题——不变性（invariance）：同一张脸在视网膜上的位置、大小、视角不断变化，识别却要保持稳定，这种不变表征是如何学会的？这两个问题决定了后续一切：编码方式决定下游网络读出信息的难易，不变表征决定情绪学习能否泛化到同一面孔的不同视角。

研究思路

全文的论证策略是"先描述表征、再解释来源、最后追踪去向"。描述层面，作者用信息论（information theory）做客观量化：单神经元对哪些刺激发放多少、群体编码了多少比特的信息、信息在发放率里还是在发放时序里。解释层面，作者提出一套层级式竞争学习的计算理论（VisNet）：视觉皮层逐级汇聚的连接结构，配合带短时记忆痕迹的修正 Hebb 学习规则，可以从物体在视网膜上连续变化的统计规律中逐步习得不变性。去向层面，作者追问这些不变表征对下游意味着什么——杏仁核与眶额叶皮层学习的刺激-强化联结如果建立在视角不变的输入上，对一张脸某个视角学到的情绪反应就能自动泛化到其他视角；这正是社会情绪行为需要的计算性质。人类研究（社会反转任务的 fMRI 与眶额叶损伤病人的神经心理学测验）被放在最后，作为这条猕猴-模型-人类推理链的落地。

方法

猕猴实验以清醒、固定注视的行为猴为对象：注视点消失后在显示器上呈现约 8° 大小的刺激，记录颞叶各细胞构筑区单细胞放电。面孔选择性神经元对面孔的反应可达 100 spikes/s、持续、潜伏期约 80-100 ms，对听觉、触觉及简单视觉刺激无反应。信息论分析以 20 张等概率面孔为刺激集：识别其中一张需要 log2 20 = 4.32 bits；用交叉验证（一半试次训练、一半测试）比较两种解码方法——点积（dot product, DP，神经上可信：下游神经元只需对各突触输入加权求和）与概率估计（probability estimation, PE，贝叶斯意义上的最优解码）；稀疏性（sparseness）按 a = (Σrs/S)² / (Σrs²/S) 计算（rs 为神经元对刺激 s 的平均发放率）。视觉后向掩蔽（backward masking）实验中，测试刺激呈现 16 ms 后在刺激起始异步（SOA）20 ms 处加以掩蔽图形，同时人类被试看同样的显示。VisNet 是四层前馈网络（对应 V2、V4、后部颞叶、前部颞叶），每层 32×32 个神经元，每个细胞从前一层拓扑对应区域按高斯分布接收 100 个连接（67% 的连接来自分布中心 4 格以内），层内侧抑制的作用半径略大于前馈汇聚半径；学习规则为 δwij = k·mi·r′j，其中痕迹项 mi(t) = (1−η)ri(t) + η mi(t−1)，η 通常取 0.4-0.6，训练时同一刺激依次出现在 7 个位置。人类部分包括社会反转 fMRI 任务（9 名被试）与眶额叶皮层局限损伤病人的表情识别与情绪行为测验。

主要结果

1. 面孔选择性神经元确实在编码面孔：它们对面孔的反应比对宽范围的格栅、几何图形、复杂非面孔物体高 2-20 倍且统计显著；信息论上，对 20 张面孔中哪一张的判断平均携带约 0.4 bits，而对 20 个非面孔刺激只有约 0.07 bits（图 2）。单个神经元的发放率分布在自然图像上近似指数分布——少数刺激引起高发放、大量刺激引起低发放。
2. 编码是分布式而非祖母细胞式的：群体稀疏性平均 0.65、响应稀疏性 0.33；单个神经元约携带 0.34 bits，群体信息随神经元数量近似线性增长（即可编码的刺激数近似指数增长，图 3、图 4），直到逼近 4.32 bits 的天花板。换算成容量：按最优解码，20 个神经元可编码 768 张面孔、35 个可编码 49,152 张（50% 正确率）；即使用神经上可信的点积解码，信息也只损失约 40%。同时记录的神经元间信息近乎独立（相邻成对神经元约 80% 独立），且相对放电时序中几乎不含信息（不超过总信息约 5%）——编码基本都在发放率里。
3. 表征在多个变换维度上不变：对刺激大小平均可容忍中位数 12 倍的变化（反应仍大于最大反应一半）；空间频率上低通或高通滤波到只剩每张脸 8 周的成分仍能反应；平移上注视点甚至移到 8-17° 面孔边缘外 2-5° 处仍保持大于半幅反应且面孔间选择性不变；视角上少数神经元完全视角无关（16/18 不完全），同一皮层区还混有视角依赖的神经元；运动编码是物体中心的——对头部腹屈反应的神经元在正立、倒置、任何视角下都反应。自然场景中感受野收缩：空白背景上直径可达约 70° 的感受野在复杂背景中缩至几度，输出偏向注视点内容（注视有效面孔加旁中央无效面孔 34 spikes/s，注视无效面孔加外周有效面孔 22 spikes/s）。
4. 加工快、学习快：50 ms 的发放率窗口已含 400 ms 窗口信息的 84.4%（四张脸），20 ms 窗口含 65%；SOA 20 ms 掩蔽下神经元只放电 20-30 ms，人类被试尚能勉强分辨六张脸中的哪一张——皮层完成识别计算只需 20-30 ms（意识知觉约需 40-50 ms）。学习方面，新面孔呈现一两次后神经元的相对调谐即改变并稳定；灰度照片呈现十次（每次 0.5 s）后，神经元对同一张脸的二值化"拼合"版本也产生反应——几秒钟的经验即可改变表征，并在人类 PET 研究中找到对应（面孔学习效应在右颞、物体在左颞）。
5. 计算模型与下游去向：VisNet 只有配痕迹学习规则（而非普通 Hebb 规则或随机权重）时，才能对九个位置上的 +、T、L 图形乃至五到八张面孔形成平移、视角、大小不变的表征（图 5-8）。下游方面，上颞沟皮层神经元编码表情、注视、视角与头动，TE 区神经元编码身份，两者都投向杏仁核（内有面孔选择性神经元）与眶额叶皮层——OFC 面孔神经元潜伏期较长（典型 140-200 ms vs 颞叶 80-100 ms），有的调谐到面孔身份、有的到表情（图 9）。人类社会反转任务中，行为反转（换脸选人）时外侧眶额叶皮层显著激活（Z = 4.94 与 5.51），梭状回对面孔表情有主效应（Z > 8），扣带前区在反转时激活（Z = 6.88）（图 10、11）；在主要结果第5条病灶结果后补充：“病灶与知觉对照进一步限定了这一结论：Hornak等（1996）的腹侧额叶以外损伤且无相应行为问题的对照组，面孔表情识别正常，声音表情识别受损程度显著较轻。Hornak等（2003）的背外侧前额叶损伤组，以及损伤位于前扣带和内侧前额叶BA9之外的内侧损伤组，在所测情绪指标上均无损；所有声音表情识别受损者在不熟悉声音辨别和环境声音识别测验上均无缺陷。这支持局限OFC损伤可影响情绪表达识别，且声音方面的缺陷不能简单归因于一般声音知觉障碍；但部分前扣带前腹侧和/或内侧前额叶BA9损伤患者也有相关障碍，不能将其排他性定位于OFC。”

图注解读

图 1 · 猕猴颞叶细胞构筑分区图

原文图注：Fig. 1. Lateral view of the macaque brain (left) and coronal section (right) showing the different architectonic areas (e.g. TEm, TPO) in and bordering the anterior part of the superior temporal sulcus (STS) of the macaque (see text). (After Seltzer & Pandya, 1978.).

左图为猕猴脑外侧观，右图为冠状切面，标出上颞沟前部及其边缘的各细胞构筑区（TEm、TPO 等，依 Seltzer & Pandya, 1978 的分区）。这张解剖底图的作用是给全文定位：后文所有"面孔神经元在上颞沟还是 TE 区"的说法都挂在图上这些缩写上。读图时记住两件事：TE 系列在颞下回（腹侧视觉区），STS 皮层在沟底与沟壁；TPO、PGa、IPa 兼收顶叶与颞叶输入，是多模态区。

图 2 · 单神经元对 68 个自然图像的发放率分布

原文图注：Fig. 2. Firing rate distribution of a single neuron in the temporal visual cortex to a set of 23 face (F) and 45 non-face images of natural scenes. The firing rate to each of the 68 stimuli is shown. P indicates a face profile stimulus, a B a body part stimulus such as a hand. (After Rolls & Tovee, 1995a.).

横轴是 68 个刺激（23 张面孔 F、45 个自然场景非面孔图像，P 为面孔侧影，B 为手等身体部位），纵轴是该神经元对每个刺激的发放率。读图要点：对多数面孔（尤其正面）发放高，对多数非面孔发放低甚至为零，但并非全有全无——部分非面孔也有中等反应。这种"偏心但非专属"的响应谱正是稀疏分布式编码的直观证据，支撑主要结果第 1 条与第 2 条。

图 3 · 群体信息量与解码方法

原文图注：Fig. 3. (a) The values for the average information available in the responses of different numbers of these neurons on each trial, about which of a set of 20 face stimuli has been shown. The decoding method was dot product (DP, ×) or probability estimation (PE, +), and the effects obtained with cross-validation procedures utilising 50% of the trials as test trials are shown. The remainder of the trials in the cross-validation procedure were used as training trials. The full line indicates the amount of information expected from populations of increasing size, when assuming random correlations within the constraint given by the ceiling (the information in the stimulus set, I = 4.32 bits). (b) The percent correct for the corresponding data to those shown in (a). (After Rolls, Treves et al.,

(a) 图横轴为采样神经元数，纵轴为解码"20 张面孔中显示了哪一张"的单试次平均信息量（bits）；叉号为点积解码（DP），加号为概率估计解码（PE），均采用 50% 试次做测试的交叉验证；实线是在刺激集信息天花板（I = 4.32 bits）约束下假设随机相关时的期望值。(b) 图给出对应的解码正确率。读图要点有二：单个神经元就携带约 0.34 bits（曲线截距非零），信息随神经元数近似线性上升直至逼近天花板；DP 与 PE 两条曲线形状一致，说明简单加权求和足以读出大部分信息。该图是"分布式编码、神经元近乎独立"这一核心结论的直接证据，支撑主要结果第 2 条。

图 4 · 可编码刺激数随神经元数的指数增长

原文图注：Fig. 4. The number of stimuli (in this case from a set of 20 faces) that are encoded in the responses of different numbers of neurons in the temporal lobe visual cortex, based on the results shown in Fig. 3. The decoding method was dot product (DP, open circle) or probability estimation (PE, filled circle). (After Abbott et al., 1996; Rolls, Treves et al., 1997.).

横轴为神经元数，纵轴为响应中可编码的刺激数（由图 3 数据换算），空心圆为点积解码、实心圆为概率估计解码。读图要点：曲线呈上翘的指数状而非直线——这是分布式编码区别于祖母细胞编码（后者可编码刺激数与神经元数成正比）的标志性形态；两种解码方法给出同一形态。它把图 3 的信息量结论翻译成更直观的"容量"语言，支撑主要结果第 2 条中 20 个神经元编码 768 张面孔等数字。

图 5 · 视觉系统逐级汇聚与表征类型示意

原文图注：Fig. 5. Schematic diagram showing convergence achieved by the forward projections in the visual system, and the types of representation that may be built by competitive networks operating at each stage of the system from the primary visual cortex (V1) to the inferior temporal visual cortex (area TE) (see text). LGN—lateral geniculate nucleus. Area TEO forms the posterior inferior temporal cortex. The receptive fields in the inferior temporal visual cortex (e.g. in the TE areas) cross the vertical midline (not shown).

示意图从外侧膝状体（LGN）经 V1、V2、V4、后部下颞皮层（TEO）画到下颞皮层（TE），标出每级前馈投射带来的感受野汇聚：感受野逐级放大约 2.5 倍（V1 中央凹附近约 1°，V4 约 8°，TEO 约 20°，IT 约 50°），每级被看作一组局部自组织竞争网络，所能形成的表征类型随层级标注。这张图是"不变性如何可能"的结构性答案：汇聚使高级区神经元整合大范围位置信息，为平移不变表征提供连接基础；TE 区感受野跨越垂直中线。它支撑主要结果第 5 条中模型部分的理论前提。

图 6 · VisNet 层级网络结构

原文图注：Fig. 6. Hierarchical network structure of VisNet.

这张简图画出 VisNet 的四层结构与连接方式：每层与前一层拓扑对应区域按高斯分布概率连接（每细胞接收 100 个连接），层内有竞争性的侧向抑制。它与图 5 是同一思想在可运行模型中的落地。读图时对照图 5，关注两点：连续重叠的汇聚区（而非离散分块）以及"每层局部竞争 + 层间前馈"的组合，这正是痕迹规则得以在层级中逐步扩大不变性范围的架构条件。

图 7 · 痕迹规则与普通 Hebb 规则的性能对比

原文图注：Fig. 7. Comparison of VisNet network discrimination when trained with the trace learning rule, with a Hebb rule (no trace), and when not trained (random) on three stimuli, +, T and L, at nine different locations. (After Wallis & Rolls, 1997.)

图比较 VisNet 在三种条件下的网络判别性能：用痕迹学习规则训练、用普通 Hebb 规则（无痕迹）训练、不训练（随机权重），刺激为出现在九个不同位置的三个图形（+、T、L）。读图要点是三者分层：痕迹规则最优，普通 Hebb 次之且在平移不变性上明显吃力，随机权重最差。这一对比把"短时记忆痕迹是学会不变性的必要成分"变成了可检验的模型结论——没有痕迹，网络只能记住"位置+形状"的组合而无法跨位置泛化。它支撑主要结果第 5 条的核心论断。

图 8 · 训练后第四层神经元对三个图形的反应谱

原文图注：Fig. 8. Response profiles for two fourth layer neurons in VisNet – discrimination factors 4.07 and 3.62 – in the L, T and + invariance learning experiment. (Wallis & Rolls, 1997.)

图给出痕迹规则训练后两个第四层神经元的反应谱（判别因子分别为 4.07 与 3.62），横轴应理解为九个位置 × 三个图形（L、T、+）的刺激组合，纵轴为发放率。读图要点：这两个神经元各自对某一图形在全部九个位置上都维持高反应、对其他图形反应低——即平移不变且形状特异的单细胞水平证据，而不是只存在于群体平均中的现象。它与图 7 的群体指标互为补充，支撑主要结果第 5 条。

图 9 · 眶额叶皮层面孔选择性神经元的栅格图

原文图注：Fig. 9. Orbitofrontal cortex faceselective neuron as found in macaques. Peristimulus rastergrams and time histograms are shown. Each trial is a row in the rastergram. Several trials for each stimulus are shown. The ordinate is in spikes/s. The neuron responded best to face (a), also responded, though less to face (b), had different responses to other faces (not shown), and did not respond to non-face stimuli (e.g. (c and d)). The stimulus appeared at time 0 on a video monitor. (After Rolls, 1999a; Rolls et al., 2005.)

每个刺激一个小栅格图（每行一个试次）叠加刺激后时间直方图，时间零点为显示器上刺激出现时刻，纵轴为 spikes/s。读图要点：该神经元对面孔 (a) 反应最强、面孔 (b) 较弱、对不同面孔反应不同、对非面孔 (c)(d) 无反应——即 OFC 中也存在区分个体的分布式响应，而非笼统的"有脸就放电"。注意其反应潜伏期明显长于颞叶神经元的 80-100 ms，与文中 OFC 神经元 140-200 ms 的描述一致。它支撑主要结果第 5 条中 OFC 表征的生理学证据。

图 10 · 社会反转任务流程

原文图注：Fig. 10. Social reversal task: the trial starts synchronised with the scanner and two people with neutral face expressions are presented to the subject. The subject has to select one of the people by pressing the corresponding button, and the person will then either smile or show an angry face expression for 3000 ms depending on the current mood of the person. The task for the subject is to keep track of the mood of each person and choose the 'happy' person as much as possible (upper row). Over time (after between four and eight correct trials) this will change so that the 'happy' person becomes 'angry' and vice versa, and the subject has to learn to adapt her choices accordingly (bottom row). Randomly intermixed trials with either two men, or two women, were used to control for possible g

任务流程示意：与扫描器同步开始，屏幕出现两个中性表情的人，被试按键选一人，此人依当前"心情"微笑或生气 3000 ms；被试要追踪两人的心情并尽量选"开心"的人（上排）；每四到八次正确试次后两人角色反转，原来的"开心者"变"生气者"，被试须相应调整选择（下排）。两男或两女的试次随机混编以控制性别与身份效应，试次间至少 16,000 ms 呈现注视点。读图要点在于任务把"面孔表情"设计成了强化信号——选错人会看到愤怒的脸，这使表情变化成为要求改变行为的社会反馈，为图 11 的 fMRI 对比（反转事件 vs 稳定习得事件）提供了行为框架。它支撑主要结果第 5 条的人类部分。

图 11 · 社会反转中的眶额叶激活

原文图注：Fig. 11. Social reversal: composite figure showing that changing behaviour based on face expression is correlated with increased brain activity in the human orbitofrontal cortex. (a) The figure is based on two different group statistical contrasts from the neuroimaging data which are superimposed on a ventral view of the human brain with the cerebellum removed, and with indication of the location of the two coronal slices (b and c) and the transverse slice (d). The red activations in the orbitofrontal cortex (denoted OFC, maximal activation: Z = 4.94; 42, 42, −8; and Z = 5.51; x, y, z = −46, 30, −8) shown on the rendered brain arise from a comparison of reversal events with stable acquisition events, while the blue activations in the fusiform gyrus (denoted Fusiform, maximal activation: Z >

复合图：(a) 为去掉小脑的人脑腹侧视图，叠加两组群体统计对比，并标出两个冠状切面 (b)(c) 与横切面 (d) 的位置——红色为眶额叶皮层激活（反转事件对比稳定习得事件，峰值 Z = 4.94，坐标 42, 42, −8；Z = 5.51，坐标 −46, 30, −8），蓝色为梭状回激活（面孔表情主效应，峰值 Z > 8）。(b) 显示全部九名被试在反转对比中右侧眶额叶的簇，以及扣带前/旁扣带皮层的扩展激活（Z = 6.88）。读图要点：反转（须改变行为的社交错误）激活外侧 OFC，而单纯看到愤怒表情并不选择性激活该区（正文控制任务所示），说明 OFC 关心的是"预期落空、要换策略"这一社会信号本身；梭状回的主效应则对应表情的知觉加工。它支撑主要结果第 5 条与讨论中 OFC 参与情绪行为快速重估的论断。

讨论

作者的收束是把三层证据扣在一起。表征层面，他认为不可能存在更高级的"祖母细胞"区：解剖上没有一整套新的视觉加工区，颞叶视觉区的输出直接进杏仁核、眶额叶皮层与经内嗅皮层入海马，而在杏仁核、眶额叶乃至腹侧纹状体中找到的面孔神经元仍是群体（ensemble）编码，不是局部编码。模型层面，作者承认这是"比 Marr 的三维坐标方案有限得多、但生物学上更可行"的路线——表征适合识别与联结学习，不适合对物体内部做三维操作；补救办法是靠注视把物体局部放进中央凹，用局部深度信息指导动作。结合特征须保持正确空间构象的发现，作者还给出了特征绑定（binding）问题的层级式方案：早期高精度特征组合神经元保住相对空间关系，后期层则对整体位置获得不变性。关于人类，作者比较了 OFC 与杏仁核损伤的效应范围：OFC 损伤造成的表情识别缺陷比杏仁核损伤（主要恐惧识别受损）更广泛，情绪与社会行为改变也更重，作者把原因归于新皮层高度发达的回归侧支连接支持快速学习与反转的吸引子架构。文中对自身局限的直接陈述不多，可辨认的有：分布式表征容量按"已知对面孔有信息的神经元"计算，若随机取样（面孔神经元仅占约 5%）所需神经元数要乘以 20；以及联合网络可存储的模式数远小于感官表征的编码容量。

一句话总结

这篇综述给我最大的启发是把"不变性"从视觉问题变成了情绪问题：如果 OFC 和杏仁核学到的是"这张脸=奖励"，而输入是视角不变的表征，那么换一个角度看同一张脸，好恶反应自动跟随——不变表征是社会学习能泛化的前提，这一步逻辑把视觉皮层和情绪脑区缝在了一起。以我的理解，文中最硬的证据是信息论那部分（分布式、近独立、几乎全在发放率里），而 VisNet 的痕迹规则更像一个自洽的可行性论证而非证明；祖母细胞之争在文中其实靠"解剖上无后续区、下游仍是群体编码"来封口，这个论证我买账，但也要承认它排除的是"更后一级"，不是局部编码在皮层内零星存在的可能。