IT / 文献库

PAPER 034 / CLOSE READING

The representation of information about faces in the temporal and frontal lobes

语义审核:pass · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 猕猴颞叶细胞构筑分区图
    2. 图 2 · 单神经元对 68 个自然图像的发放率分布
    3. 图 3 · 群体信息量与解码方法
    4. 图 4 · 可编码刺激数随神经元数的指数增长
    5. 图 5 · 视觉系统逐级汇聚与表征类型示意
    6. 图 6 · VisNet 层级网络结构
    7. 图 7 · 痕迹规则与普通 Hebb 规则的性能对比
    8. 图 8 · 训练后第四层神经元对三个图形的反应谱
    9. 图 9 · 眶额叶皮层面孔选择性神经元的栅格图
    10. 图 10 · 社会反转任务流程
    11. 图 11 · 社会反转中的眶额叶激活
  6. 讨论
  7. 一句话总结

该综述系统总结了 Rolls 实验室数十年关于灵长类面孔信息神经表征的研究工作。文章阐释了完整的神经加工链条:颞下回视觉皮层构建对面孔身份具有位置、尺寸与视角不变性的稀疏分布式表征;上颞沟(STS)皮层特化于表情、注视方向与头部运动等社会交流信号的提取;上述皮层输出进一步投射至杏仁核与眶额叶皮层(OFC),驱动基于刺激—奖赏关联学习的情绪与社会决策。综述将信息论定量分析、VisNet 层级自组织计算模型与人类功能影像及脑损伤研究有机整合,阐明了从感知表征到社会情绪行为的神经计算机制。

研究背景

面孔同时携带身份、表情、注视和运动等信息,是研究视觉表征与社会行为联系的重要对象。早期颞叶记录已证明存在面孔选择性神经元,Rolls 团队的大样本又显示,这些细胞并非均匀分布:TPO、TEa、TEm 等区域比例较高,但没有哪个区只处理面孔。下颞回更常与身份相关,上颞沟更常与表情、头动和社会信号相关,且部分区域具有多模态性质。人类 fMRI 虽能定位面孔区,却无法判断其中单个神经元是高度特异还是宽调谐混合,因此需要单细胞和信息论分析来明确表征形式。

两个理论问题贯穿这一研究线。第一,面孔是由极少数“祖母细胞”表示,还是由许多各有偏好的细胞以稀疏分布式方式编码?后者可利用群体容量、泛化和容错,但需要定量估计单细胞信息、群体增长和不同解码规则的代价。第二,同一面孔在位置、大小、空间频率和视角变化后仍能识别,这种不变性如何由经验形成?它不仅影响识别,也决定下游杏仁核和眶额皮层能否把某个视角学到的情绪或奖励联结推广到其他视角。

本文按“表征—学习—去向”组织证据:先以信息论描述面孔细胞的稀疏编码、速率信息和不变性,再用 VisNet 的层级竞争与痕迹学习解释不变性来源,最后追踪 TE、STS 到杏仁核和眶额叶的输出,并结合人类社会反转和损伤研究。结果支持分布式表征、快速加工和经验依赖可塑性,视角依赖与不变细胞则并存。VisNet 是对这些性质的计算实现而非唯一证明,跨物种连接也主要用于提出可检验解释;文章并未把每个脑区归为单一功能模块,而是强调表征分工及其对情绪社会行为的下游意义。

研究思路

全文的论证策略是"先描述表征、再解释来源、最后追踪去向"。描述层面,作者用信息论(information theory)做客观量化:单神经元对哪些刺激发放多少、群体编码了多少比特的信息、信息在发放率里还是在发放时序里。解释层面,作者提出一套层级式竞争学习的计算理论(VisNet):视觉皮层逐级汇聚的连接结构,配合带短时记忆痕迹的修正 Hebb 学习规则,可以从物体在视网膜上连续变化的统计规律中逐步习得不变性。去向层面,作者追问这些不变表征对下游意味着什么——杏仁核与眶额叶皮层学习的刺激-强化联结如果建立在视角不变的输入上,对一张脸某个视角学到的情绪反应就能自动泛化到其他视角;这正是社会情绪行为需要的计算性质。人类研究(社会反转任务的 fMRI 与眶额叶损伤病人的神经心理学测验)被放在最后,作为这条猕猴-模型-人类推理链的落地。

方法

猕猴实验以清醒、固定注视的行为猴为对象:注视点消失后在显示器上呈现约 8° 大小的刺激,记录颞叶各细胞构筑区单细胞放电。面孔选择性神经元对面孔的反应可达 100 spikes/s、持续、潜伏期约 80-100 ms,对听觉、触觉及简单视觉刺激无反应。信息论分析以 20 张等概率面孔为刺激集:识别其中一张需要 log2 20 = 4.32 bits;用交叉验证(一半试次训练、一半测试)比较两种解码方法——点积(dot product, DP,神经上可信:下游神经元只需对各突触输入加权求和)与概率估计(probability estimation, PE,贝叶斯意义上的最优解码);稀疏性(sparseness)按 a = (Σrs/S)² / (Σrs²/S) 计算(rs 为神经元对刺激 s 的平均发放率)。视觉后向掩蔽(backward masking)实验中,测试刺激呈现 16 ms 后在刺激起始异步(SOA)20 ms 处加以掩蔽图形,同时人类被试看同样的显示。VisNet 是四层前馈网络(对应 V2、V4、后部颞叶、前部颞叶),每层 32×32 个神经元,每个细胞从前一层拓扑对应区域按高斯分布接收 100 个连接(67% 的连接来自分布中心 4 格以内),层内侧抑制的作用半径略大于前馈汇聚半径;学习规则为 δwij = k·mi·r′j,其中痕迹项 mi(t) = (1−η)ri(t) + η mi(t−1),η 通常取 0.4-0.6,训练时同一刺激依次出现在 7 个位置。人类部分包括社会反转 fMRI 任务(9 名被试)与眶额叶皮层局限损伤病人的表情识别与情绪行为测验。

主要结果

  1. 面孔选择性神经元确实在编码面孔:它们对面孔的反应比对宽范围的格栅、几何图形、复杂非面孔物体高 2-20 倍且统计显著;信息论上,对 20 张面孔中哪一张的判断平均携带约 0.4 bits,而对 20 个非面孔刺激只有约 0.07 bits(图 2)。单个神经元的发放率分布在自然图像上近似指数分布——少数刺激引起高发放、大量刺激引起低发放。
  2. 编码是分布式而非祖母细胞式的:群体稀疏性平均 0.65、响应稀疏性 0.33;单个神经元约携带 0.34 bits,群体信息随神经元数量近似线性增长(即可编码的刺激数近似指数增长,图 3、图 4),直到逼近 4.32 bits 的天花板。换算成容量:按最优解码,20 个神经元可编码 768 张面孔、35 个可编码 49,152 张(50% 正确率);即使用神经上可信的点积解码,信息也只损失约 40%。同时记录的神经元间信息近乎独立(相邻成对神经元约 80% 独立),且相对放电时序中几乎不含信息(不超过总信息约 5%)——编码基本都在发放率里。
  3. 表征在多个变换维度上不变:对刺激大小平均可容忍中位数 12 倍的变化(反应仍大于最大反应一半);空间频率上低通或高通滤波到只剩每张脸 8 周的成分仍能反应;平移上注视点甚至移到 8-17° 面孔边缘外 2-5° 处仍保持大于半幅反应且面孔间选择性不变;视角上少数神经元完全视角无关(16/18 不完全),同一皮层区还混有视角依赖的神经元;运动编码是物体中心的——对头部腹屈反应的神经元在正立、倒置、任何视角下都反应。自然场景中感受野收缩:空白背景上直径可达约 70° 的感受野在复杂背景中缩至几度,输出偏向注视点内容(注视有效面孔加旁中央无效面孔 34 spikes/s,注视无效面孔加外周有效面孔 22 spikes/s)。
  4. 加工快、学习快:50 ms 的发放率窗口已含 400 ms 窗口信息的 84.4%(四张脸),20 ms 窗口含 65%;SOA 20 ms 掩蔽下神经元只放电 20-30 ms,人类被试尚能勉强分辨六张脸中的哪一张——皮层完成识别计算只需 20-30 ms(意识知觉约需 40-50 ms)。学习方面,新面孔呈现一两次后神经元的相对调谐即改变并稳定;灰度照片呈现十次(每次 0.5 s)后,神经元对同一张脸的二值化"拼合"版本也产生反应——几秒钟的经验即可改变表征,并在人类 PET 研究中找到对应(面孔学习效应在右颞、物体在左颞)。
  5. 计算模型与下游去向:VisNet 只有配痕迹学习规则(而非普通 Hebb 规则或随机权重)时,才能对九个位置上的 +、T、L 图形乃至五到八张面孔形成平移、视角、大小不变的表征(图 5-8)。下游方面,上颞沟皮层神经元编码表情、注视、视角与头动,TE 区神经元编码身份,两者都投向杏仁核(内有面孔选择性神经元)与眶额叶皮层——OFC 面孔神经元潜伏期较长(典型 140-200 ms vs 颞叶 80-100 ms),有的调谐到面孔身份、有的到表情(图 9)。人类社会反转任务中,行为反转(换脸选人)时外侧眶额叶皮层显著激活(Z = 4.94 与 5.51),梭状回对面孔表情有主效应(Z > 8),扣带前区在反转时激活(Z = 6.88)(图 10、11);眶额叶损伤病人表现为面孔/声音表情识别受损与情绪行为改变,双侧损伤者还伴有概率反转学习障碍。

图注解读

图 1 · 猕猴颞叶细胞构筑分区图

原文图注:Fig. 1. Lateral view of the macaque brain (left) and coronal section (right) showing the different architectonic areas (e.g. TEm, TPO) in and bordering the anterior part of the superior temporal sulcus (STS) of the macaque (see text). (After Seltzer & Pandya, 1978.).

左图为猕猴脑外侧观,右图为冠状切面,标示出上颞沟前部及其边缘的细胞构筑分区(TEm、TPO 等,依据 Seltzer & Pandya 1978 分区标准)。该解剖图确立了全文的空间参考系:下颞回 TE 系列构成腹侧视觉通路的终级皮层,上颞沟底及沟壁包含 TPO、PGa、IPa 等多模态联合皮层,为后续区分 STS 表情编码与 TE 身份编码提供了神经解剖学基础。

Figure 1

图 2 · 单神经元对 68 个自然图像的发放率分布

原文图注:Fig. 2. Firing rate distribution of a single neuron in the temporal visual cortex to a set of 23 face (F) and 45 non-face images of natural scenes. The firing rate to each of the 68 stimuli is shown. P indicates a face profile stimulus, a B a body part stimulus such as a hand. (After Rolls & Tovee, 1995a.).

横轴展示 68 个测试刺激(23 幅面孔图像 F,45 幅自然场景非面孔图像,其中 P 表示面孔侧面像,B 表示手等身体部位),纵轴为单神经元对各刺激的发放率。神经元对绝大多数正面面孔呈现高发放,对非面孔刺激大多维持基线甚至零放电,但对部分非面孔刺激亦呈现中等响应。该响应谱直观展示了连续调谐的稀疏分布式编码特征,而非全有全无的祖母细胞式编码,支撑主要结果第 1 条与第 2 条。

Figure 2

图 3 · 群体信息量与解码方法

原文图注:Fig. 3. (a) The values for the average information available in the responses of different numbers of these neurons on each trial, about which of a set of 20 face stimuli has been shown. The decoding method was dot product (DP, ×) or probability estimation (PE, +), and the effects obtained with cross-validation procedures utilising 50% of the trials as test trials are shown. The remainder of the trials in the cross-validation procedure were used as training trials. The full line indicates the amount of information expected from populations of increasing size, when assuming random correlations within the constraint given by the ceiling (the information in the stimulus set, I = 4.32 bits). (b) The percent correct for the corresponding data to those shown in (a). (After Rolls, Treves et al.,

(a) 图横轴为采样的神经元数量,纵轴为单试次下解码 20 张面孔身份的平均信息量(比特);叉号代表点积解码(DP),加号代表概率估计解码(PE),均采用 50% 试次交叉验证;实线为在刺激集信息上限(4.32 比特)约束下假设随机相关时的理论曲线。(b) 图展示对应的解码准确率。单神经元即可提供约 0.34 比特信息,群体信息量随细胞数近似线性增长直至接近天花板,且点积解码与概率解码表现接近,表明神经上可信的突触加权求和能够有效读出绝大部分身份信息,支撑主要结果第 2 条。

Figure 3

图 4 · 可编码刺激数随神经元数的指数增长

原文图注:Fig. 4. The number of stimuli (in this case from a set of 20 faces) that are encoded in the responses of different numbers of neurons in the temporal lobe visual cortex, based on the results shown in Fig. 3. The decoding method was dot product (DP, open circle) or probability estimation (PE, filled circle). (After Abbott et al., 1996; Rolls, Treves et al., 1997.).

横轴为神经元数量,纵轴为响应模式可编码的刺激总数(由图 3 数据转换),空心圆代表点积解码,实心圆代表概率估计解码。曲线呈指数形态快速上翘,直观反映了分布式编码的容量特征(可表征刺激数随神经元数量呈指数级而非线性增长),支撑主要结果第 2 条中关于数十个神经元即可编码上万张面孔的容量推论。

Figure 4

图 5 · 视觉系统逐级汇聚与表征类型示意

原文图注:Fig. 5. Schematic diagram showing convergence achieved by the forward projections in the visual system, and the types of representation that may be built by competitive networks operating at each stage of the system from the primary visual cortex (V1) to the inferior temporal visual cortex (area TE) (see text). LGN—lateral geniculate nucleus. Area TEO forms the posterior inferior temporal cortex. The receptive fields in the inferior temporal visual cortex (e.g. in the TE areas) cross the vertical midline (not shown).

该示意图描绘外侧膝状体(LGN)经 V1、V2、V4、后下颞皮层(TEO)向前下颞皮层(TE)的前馈汇聚进程:感受野逐级扩大约 2.5 倍(V1 中央凹约 1°,V4 约 8°,TEO 约 20°,IT 约 50°),各级均被建模为局部自组织竞争网络,表征从初级特征逐步进阶至视角无关表征。逐级汇聚使高级皮层得以整合大范围视网膜信息,为形成平移不变性奠定了拓扑基础,支撑主要结果第 5 条。

Figure 5

图 6 · VisNet 层级网络结构

原文图注:Fig. 6. Hierarchical network structure of VisNet.

该图展示 VisNet 的四层前馈层级结构与连接拓扑:相邻层级之间按高斯概率分布进行拓扑对应连接(每个神经元接收 100 个输入连接),层内包含横向侧抑制竞争机制。重叠汇聚与局部竞争相结合的架构,为痕迹学习规则跨层级积累并泛化不变性提供了计算基质,支撑主要结果第 5 条。

Figure 6

图 7 · 痕迹规则与普通 Hebb 规则的性能对比

原文图注:Fig. 7. Comparison of VisNet network discrimination when trained with the trace learning rule, with a Hebb rule (no trace), and when not trained (random) on three stimuli, +, T and L, at nine different locations. (After Wallis & Rolls, 1997.)

该图对比 VisNet 在三种训练条件下的物体分类性能:基于痕迹学习规则训练、基于标准 Hebb 规则(无痕迹)训练、以及未训练的随机权重基线,测试刺激为分布在 9 个视网膜位置上的三个几何形状(+、T、L)。痕迹学习规则表现显著最优,标准 Hebb 规则在跨位置泛化上面临严重困难,随机权重表现最差。该对比证实短时突触活动痕迹是网络自组织获得平移不变性的必要机制,支撑主要结果第 5 条。

Figure 7

图 8 · 训练后第四层神经元对三个图形的反应谱

原文图注:Fig. 8. Response profiles for two fourth layer neurons in VisNet – discrimination factors 4.07 and 3.62 – in the L, T and + invariance learning experiment. (Wallis & Rolls, 1997.)

该图展示痕迹规则训练后 VisNet 第四层两个代表性神经元的响应谱(判别因子分别为 4.07 与 3.62):横轴对应 9 个位置与 3 个图形的组合条件,纵轴为放电率。两个神经元分别对特定形状在全部 9 个位置均维持强放电,对其他形状放电极低,证实平移不变性已在单神经元水平内生性建立,支撑主要结果第 5 条。

Figure 8

图 9 · 眶额叶皮层面孔选择性神经元的栅格图

原文图注:Fig. 9. Orbitofrontal cortex faceselective neuron as found in macaques. Peristimulus rastergrams and time histograms are shown. Each trial is a row in the rastergram. Several trials for each stimulus are shown. The ordinate is in spikes/s. The neuron responded best to face (a), also responded, though less to face (b), had different responses to other faces (not shown), and did not respond to non-face stimuli (e.g. (c and d)). The stimulus appeared at time 0 on a video monitor. (After Rolls, 1999a; Rolls et al., 2005.)

该图展示猕猴眶额叶皮层(OFC)面孔选择性神经元的栅格图与刺激后时间直方图:时间零点对应刺激呈现时刻,纵轴为放电率(spikes/s)。该神经元对面孔 (a) 放电最强,对面孔 (b) 响应较弱,对不同面孔呈现差异化调谐,对非面孔刺激 (c、d) 完全不放电。其潜伏期约为 140–200 ms,长于颞叶神经元的 80–100 ms,证实 OFC 同样存在表征个体身份的分布式神经元群体,支撑主要结果第 5 条。

Figure 9

图 10 · 社会反转任务流程

原文图注:Fig. 10. Social reversal task: the trial starts synchronised with the scanner and two people with neutral face expressions are presented to the subject. The subject has to select one of the people by pressing the corresponding button, and the person will then either smile or show an angry face expression for 3000 ms depending on the current mood of the person. The task for the subject is to keep track of the mood of each person and choose the 'happy' person as much as possible (upper row). Over time (after between four and eight correct trials) this will change so that the 'happy' person becomes 'angry' and vice versa, and the subject has to learn to adapt her choices accordingly (bottom row). Randomly intermixed trials with either two men, or two women, were used to control for possible g

该图展示社会反转任务的实验流程:扫描同步开始,屏幕呈现两张中性面孔供受试者选择,选中面孔随之呈现开心情绪或愤怒表情(持续 3000 ms)。受试者需追踪面孔情绪并持续选择开心者;在 4–8 次正确选择后情绪偶联发生反转,原本开心者转为愤怒,受试者需相应调整行为策略。任务将面孔表情操作化为社会强化信号,为评估 OFC 在社会反馈与策略转换中的神经基础提供了行为范式,支撑主要结果第 5 条。

Figure 10

图 11 · 社会反转中的眶额叶激活

原文图注:Fig. 11. Social reversal: composite figure showing that changing behaviour based on face expression is correlated with increased brain activity in the human orbitofrontal cortex. (a) The figure is based on two different group statistical contrasts from the neuroimaging data which are superimposed on a ventral view of the human brain with the cerebellum removed, and with indication of the location of the two coronal slices (b and c) and the transverse slice (d). The red activations in the orbitofrontal cortex (denoted OFC, maximal activation: Z = 4.94; 42, 42, −8; and Z = 5.51; x, y, z = −46, 30, −8) shown on the rendered brain arise from a comparison of reversal events with stable acquisition events, while the blue activations in the fusiform gyrus (denoted Fusiform, maximal activation: Z >

该复合图展示社会反转任务的 fMRI 激活定位:(a) 脑腹侧视图叠加统计对比,红色为反转事件对比稳定选择期的外侧眶额叶皮层激活(峰值 Z = 4.94 与 5.51),蓝色为梭状回对面孔表情的主效应激活(峰值 Z > 8);(b) 冠状切面展示右侧 OFC 及前扣带回/旁扣带回的显著激活(Z = 6.88)。外侧 OFC 专一性响应策略转换事件而非单纯面孔感知,证实其在社会情绪反馈引导行为调整中的核心作用,支撑主要结果第 5 条。

Figure 11

讨论

作者的收束是把三层证据扣在一起。表征层面,他认为不可能存在更高级的"祖母细胞"区:解剖上没有一整套新的视觉加工区,颞叶视觉区的输出直接进杏仁核、眶额叶皮层与经内嗅皮层入海马,而在杏仁核、眶额叶乃至腹侧纹状体中找到的面孔神经元仍是群体(ensemble)编码,不是局部编码。模型层面,作者承认这是"比 Marr 的三维坐标方案有限得多、但生物学上更可行"的路线——表征适合识别与联结学习,不适合对物体内部做三维操作;补救办法是靠注视把物体局部放进中央凹,用局部深度信息指导动作。结合特征须保持正确空间构象的发现,作者还给出了特征绑定(binding)问题的层级式方案:早期高精度特征组合神经元保住相对空间关系,后期层则对整体位置获得不变性。关于人类,作者比较了 OFC 与杏仁核损伤的效应范围:OFC 损伤造成的表情识别缺陷比杏仁核损伤(主要恐惧识别受损)更广泛,情绪与社会行为改变也更重,作者把原因归于新皮层高度发达的回归侧支连接支持快速学习与反转的吸引子架构。文中对自身局限的直接陈述不多,可辨认的有:分布式表征容量按"已知对面孔有信息的神经元"计算,若随机取样(面孔神经元仅占约 5%)所需神经元数要乘以 20;以及联合网络可存储的模式数远小于感官表征的编码容量。

一句话总结

该综述构建了从下颞叶不变感知表征到前额叶社会情绪决策的完整理论链条:信息论分析确立了下颞叶以稀疏分布式发放率编码面孔身份,VisNet 计算模型证实层级汇聚结合突触痕迹规则能够从时空统计中自学习不变性,而眶额叶皮层与杏仁核则利用这一不变输入实现跨视角的快速情绪反转与社会行为调控。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。