这项研究通过系统控制的视觉刺激与三种认知任务,将腹侧颞叶皮层(ventral temporal cortex, VTC)中词选择区与面孔选择区的 fMRI 响应分解为两项计算成分:自下而上的模板匹配与自上而下的顶内沟(intraparietal sulcus, IPS)缩放,并构建了整合前向预测模型,将高级视觉皮层的刺激响应与任务调制从定性描述推进为由图像计算、顶叶反馈与决策积分构成的量化模型。
研究背景
视觉词形区(VWFA)和梭状回面孔区(FFA)分别对词和面孔表现出选择性反应,是腹侧颞叶类别选择性研究的核心区域。然而,类别标签本身不构成计算解释:观察到特定区域偏好词汇,并不等于阐明了从输入图像到该偏好的具体算子变换。早期感受野模型多关注初级视皮层对朝向、空间频率等低级维度的调谐;面对高级皮层复杂的类别偏好时,往往退回到离散的类别标签假说,缺乏基于图像的可计算预测。
此外,VTC 的神经反应同时受感觉输入与认知状态驱动。同一视觉刺激在不同任务要求(例如被动注视 vs 分类判别)下诱发的 BOLD 信号差异显著。但在认知神经科学研究中,自下而上的感觉驱动成分与自上而下的任务调制成分常相互交织。若无法在实验设计与计算模型上将二者有效解离,就难以确定观察到的反应模式(如对特定刺激类型的响应变化)究竟源自感觉表征本身的计算特性,还是任务难度或注意分配带来的系统调制。
研究思路
研究总体策略为“分离测量、独立建模、综合集成”。首先通过中心注视任务(fixation task)将受试者的注意力引导至中央注视点,使刺激与当前行为任务无关,将此时 VTC 的响应作为受自下而上刺激驱动的基线分量;接着通过字词分类任务(categorization task)和单一/双刺激的单双判断任务(one-back task)引入不同认知负荷,测量自上而下的调制分量。
在计算建模层面,自下而上的感觉驱动部分由两层前向网络表征:第一层为基于早期视皮层的时空对比度滤波器,第二层为针对词或面孔的加权模板匹配,其输出经过非线性缩放后预测注视任务下的 BOLD 响应。自上而下的调制部分则通过全脑搜索寻找与 VTC 残差信号高度共变的脑区,定位到顶内沟(IPS);进而引入漂移扩散决策模型(drift-diffusion model, DDM),将任务难度量化为证据积分所需的时间累积,并将其转化为作用于 VTC 表征的增益乘子,最终建立整合自下而上与自上而下计算的前向预测模型。
方法
实验共招募 11 名健康受试者,其中 2 名因无法稳定定位 VWFA 或信噪比不足被排除,最终有效样本 9 名(25–32 岁,6 男 3 女,右利手,英语母语)。主实验在 3T 磁共振扫描仪上采集覆盖枕颞叶的功能像(TR = 2.2 s,体素分辨率 2.4 mm 各向同性),其中 3 名受试者加扫全脑覆盖序列以开展全脑探索。刺激序列包含词汇(高/低频词、假词、辅音串)和面孔(正脸、侧脸)等多种图像,系统操纵了对比度(3%–100%)、相位一致性(0%–100%)、位置(中央与偏心)和大小等物理参数。
行为任务包含三种:注视任务要求被试监测注视点微弱的颜色变化;分类任务要求被试判定呈现的刺激是词汇还是非词;单双任务要求被试判断当前刺激是否与前一个刺激完全一致。计算模型拟合采用留一运行交叉验证(leave-one-run-out cross-validation),模型参数在训练集上基于非线性优化求解,在独立的测试集上评估预测方差解释度(cross-validated R²)。全脑相关分析则通过计算各体素时间序列与模型预测残差的皮尔逊相关系数完成。
主要结果
- VTC 响应受刺激属性与认知任务共同塑造(图 1):在注视任务下,VWFA 对词的响应随对比度单调递增,100% 对比度时的响应是 3% 对比度时的 2.4 倍,FFA 同样显著受对比度和相位一致性调制;但在分类任务和单双任务下,低对比度或退化刺激诱发的 BOLD 信号反而显著上升,形成倒置的对比度响应曲线。
- 两层前向模板模型可有效预测自下而上响应(图 2):针对注视任务下的刺激响应,包含初级空间滤波与高级类别模板匹配的两层计算模型在独立测试集上的预测准确率显著优于传统类别标签模型,其交叉验证 R² 在 VWFA 达到 82%、在 FFA 达到 76%。
- 自上而下的认知调制表现为刺激特异性的表征缩放(图 3):任务引起的响应变化并非简单的全脑基线抬升或通用的加性偏置,而表现为以注视任务响应为基础的缩放乘子。该乘子在偏好刺激类别上显著大于非偏好类别,且缩放倍数与刺激退化程度及任务难度呈正相关。
- IPS 是自上而下调制信号的关键皮层来源(图 4):全脑相关分析显示,VTC 在主动任务下的响应残差与顶内沟(IPS)的激活水平呈现高度共变,二者在试次间的相关系数达到 0.7 左右,且 IPS 信号不仅能解释 VTC 整体的激活上升,还能在单体素分辨率上预测表征调谐的锐化程度。
- 整合模型实现不同任务下 BOLD 响应的定量预测(图 5):将模板模型的自下而上输出与 IPS 驱动的自上而下乘性缩放因子相结合,整合模型在涵盖三种认知任务的全部测试数据上取得了 80% 以上的总体交叉验证解释方差,显著超越纯感觉模型与简单增益控制模型。
- 漂移扩散模型为 IPS 活动机制提供计算解释(图 6):将刺激引起的感官证据强度输入漂移扩散模型(DDM),模型推导出的决策到达阈值时间(积分时长)与被试的行为反应时高度一致,并与 IPS 的 BOLD 信号幅度呈线性对应,解释了低信噪比刺激诱发更高顶叶激活的机制。
图注解读
图 1 · VTC 响应同时受刺激属性与认知任务塑造
原文图注:Figure 1. VTC responses depend on both stimulus properties and cognitive task. (a) Stimuli. Stimuli included faces, words, and noise patterns presented at different contrasts and phase-coherence levels, as well as full-contrast polygons, checkerboards, and houses. (b) Trial design. Each trial consisted of four images drawn from the same stimulus type. (c) Tasks. On a given trial, subjects performed one of three tasks. (d) Evoked responses in VWFA (top) and FFA (bottom) for different stimuli and tasks. Color of x-axis label indicates the perceived stimulus category as reported by the subjects. Error bars indicate bootstrapped 68% CIs.
该图展示刺激范式与主要实验现象:(a) 包含词、面孔、物体等在不同对比度(3%–100%)和相位退化水平下的视觉刺激;(b) 受试者完成的三种实验任务设计;(c) VWFA 和 FFA 在不同任务下的对比度响应曲线。在注视任务下,响应幅度随刺激对比度增加而单调上升;而在主动判别任务下,低对比度条件反而诱发了更高的 BOLD 反应,表明刺激驱动与任务需求共同决定了高级视觉皮层的宏观响应强度。

图 2 · 模板模型对自下而上响应的交叉验证
原文图注:Figure 2. Model of bottom-up computations in VTC. (a) Model architecture. The predicted response of the Template model is given by a series of image computations (see Materials and methods). (b) Cross-validation performance. Black bars indicate bottom-up stimulus-driven responses measured during the fixation task, dark lines and dark dots indicate model predictions (leave-one-stimulus-out cross-validation), and light lines and light dots indicate model fits (no cross-validation). Scatter plots in the inset compare model predictions against the data. The Template model is compared to the Category model which simply predicts a fixed response level for stimuli from the preferred stimulus category and a different response level for all other stimuli (the slight decrease in response as a functi
该图呈现自下而上计算模型的架构与拟合表现:(a) 两层计算模型包含初级感受野时空滤波与次级加权模板匹配两阶段;(b) 模型在留一法交叉验证下对注视任务数据的预测结果。模型在 VWFA 和 FFA 的测试数据上均取得了较高的预测精度(R² 达 76%–82%),证明结构化的前向图像变换足以在量化层面解释注视状态下高级视觉皮层对不同类别及降质图像的反应模式。

图 3 · 自上而下调制是刺激特异性的表征缩放
原文图注:Figure 3. Top-down stimulus-specific scaling of VTC representation. (a) Responses plotted in multi-dimensional neural space. Each dot indicates ROI (VWFA, FFA) responses to a stimulus. In each plot, the black line indicates a linear decision boundary separating words and faces (nearest-centroid classifier, angular distance). (b) Schematics of potential top-down mechanisms (these models are formally evaluated in Figure 5c; see Materials and methods section 'IPS-scaling model' for details). (c) Categorization and one-back tasks produce stimulus-specific scaling. Arrows indicate the change in representation compared to the fixation task. (d) Scaling improves readout. Each data point indicates the signed Euclidean distance between the word-face decision boundary (as determined from the one-bac
该图分析任务调制的作用形式:(a) 在词选择区与面孔选择区中,将主动任务(分类与单双判断)下的响应幅度与注视任务下的基线响应绘制为散点图;(b) 线性回归斜率揭示,任务带来的神经调制主要表现为以感觉基线为乘数的缩放效应,且该缩放因子随任务识别难度增加而增大,说明认知任务通过对感觉表征进行刺激特异性放大来实现神经增益。

图 4 · IPS 是自上而下调制信号的源头
原文图注:Figure 4. IPS is the source of top-down modulation to VTC. (a) Correlation with raw VTC response. This map depicts the correlation between the VTC response observed during the categorization and one-back tasks with the response at each cortical location (inset shows an unsmoothed and unthresholded map). Positive correlations are broadly distributed across occipital cortex. Results are shown for subjects with whole-brain coverage (n = 3); results for other subjects with partial-brain coverage (n = 6) are shown in Figure 4—figure supplement 1. (b) Correlation with top-down component of VTC response. After removing bottom-up responses (fixation task), the correlation is spatially localized to a hotspot in IPS-0/1. (c) Tractography using diffusion MRI. We find that the vertical occipital fasciculus (Yeatman et al., 2014) connects VWFA and FFA to the IPS hotspot in each subject for which diffusion data were collected (n = 8) (rendering shows a representative subject).
该图展示自上而下调制源的全脑定位分析:(a) 计算各皮层体素时间序列与 VTC 任务残差的相关性分布,结果显示顶内沟(IPS)区域呈现最高程度的共变;(b) IPS 时间序列与 VTC 调制幅度的逐试次回归,证明顶叶皮层在感知决策过程中向腹侧颞叶提供了关键调节信号。

图 5 · IPS 缩放模型的定量预测与对照比较
原文图注:Figure 5. Model of top-down computations in VTC. (a) Model architecture. The predicted response during the stimulus-directed tasks (categorization task, one-back task) is given by scaling the bottom-up response, with the amount of scaling proportional to the IPS signal. (b) Cross-validation performance. Same format as Figure 2b. The arrows highlight an example of how the bottom-up response (red arrow) is multiplied by the IPS signal (green arrow) to produce the predicted response (blue arrow). (c) Comparison of performance against alternative models. Same format as Figure 2c (some error bars do not include the bar height; this is a consequence of the bootstrap procedure). Although the Additive and Scaling models perform well, note that these are ad hoc, phenomenological models. For instanc
该图展示自下而上与自上而下整合模型的预测表现:(a) 模型整体拓扑结构,自下而上模板分支与源自 IPS 的缩放调制因子在 VTC 汇聚;(b) 整合模型与仅含感觉前馈、全局加性偏置等对照模型在不同任务条件下的预测准确度对比。整合模型在涵盖多种认知负荷的跨任务数据集中均保持了高预测精度。

图 6 · 用漂移扩散模型解释 IPS 为何活跃
原文图注:Figure 6. Model of perceptual decision-making in IPS. (a) Model architecture. We implement a model that links the stimulus representation in VTC to a decision-making process occurring in IPS. The model first uses the bottom-up VTC response as a measure of sensory evidence and predicts reaction times in the categorization task. The model then predicts the IPS response as a monotonically increasing function of reaction time. Note that this model does not involve stochasticity in the evidence-accumulation process, and is therefore a simplified version of the classic drift diffusion model (Ratcliff, 1978). (b) Cross-validation performance. Same format as Figure 2b (except that reaction times are modeled in the left plot). (c) Comparison of performance against control models. The performance of the Drift diffusion model does not degrade substantially if a single threshold is used, thus justifying this simplification. Performance degrades if axis-aligned category vectors are used, supporting the assertion that responses of multiple VTC regions are used by subjects in deciding image category. (d) Overall model architecture. This schematic summarizes all components of our computational model (Figures 2a, 5a and 6a). Bottom-up visual information is encoded in the VTC fixation response (green box; Template model), fixation responses are routed to the IPS for evidence accumulation (purple box; Drift diffusion model), and then feedback from the IPS to VTC causes top-down modulation during the categorization and one-back tasks (yellow box; IPS-scaling model).
该图呈现基于漂移扩散模型(DDM)的感知决策计算:(a) 扩散模型结构,感官证据向决策阈值累积;(b) 模型预测的行为反应时与实验记录高度吻合;(c) 决策所需的时间积分过程定量解释了 IPS 的活动强度,阐明了刺激退化导致决策时间延长、进而引发更强顶叶激活和 VTC 持续调制的机制。

讨论
研究表明,结合前向图像特征提取与顶叶状态缩放的整合网络,能够定量解释作用于 VWFA、FFA 与 IPS 的刺激物理属性与认知任务效应,相关数据和计算代码已公开(vtcipsmodel)。作者讨论了研究的三项局限:其一是测试刺激与任务类型涵盖范围有限;其二是模型对部分非线性特征(如相位退化时的阶梯状响应)预测精度仍显不足;其三是当前分析基于 ROI 尺度的 BOLD 信号均值,未涵盖更精细的时间动态。
在方法学层面,研究强调了严格控制认知状态的重要性:任务对高级皮层响应函数有显著调节作用;若未在实验设计中有效固定或量化注意负荷,感觉表征本身的计算特性很容易与任务难度带来的自上而下调制相混淆。相比经典注意模型的增益假说,研究所发现的表征缩放表现出刺激特异性与任务依赖性。同时,研究明确指出,基于 BOLD 共变的功能连通性分析不能确立 IPS 到 VTC 的因果方向与微观时序,其作为自上而下驱动源的设定属于计算模型框架下的理论推论;宏观 BOLD 信号的缩放,在神经元放电水平既可能对应瞬时放电率的乘性提升,也可能对应群体放电时程的延长。
一句话总结
该研究构建了整合感觉前向计算与认知状态调节的前向量化模型,阐明高级视觉选择区的宏观响应由自下而上的图像特征与源自顶叶的自上而下增益共同决定。研究通过漂移扩散决策模型将任务识别难度转化为具体的证据积分时长,为解析人类腹侧颞叶的功能表征机制提供了可计算的理论框架。