IT / 文献库

PAPER 077 / CLOSE READING

Fast recurrent processing via ventrolateral prefrontal cortex is needed by the primate ventral stream for robust core visual object recognition

语义审核:needs_revision · 图表审核:pass

本文目录 (Table of Contents)
  1. 研究背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 图注解读
    1. 图 1 · 方法动机:物体求解时间(OST)的定义
    2. 图 2 · vlPFC 注射靶点定位及其功能性质
    3. 图 3 · 实验设计与三个假设
    4. 图 4 · 神经结果:晚期 IT 群体编码被特异性削弱
    5. 图 5 · 行为结果:晚解图片的行为缺陷更大
    6. 图 6 · 与计算模型比较:沉默 vlPFC 使腹侧流更像前馈模型
  6. 讨论
  7. 一句话总结

该研究在猕猴模型上通过药物可逆性沉默腹外侧前额叶皮层(ventrolateral prefrontal cortex, vlPFC),并同步利用微电极阵列记录下颞叶皮层(inferior temporal cortex, IT)的群体电生理活动与识别行为,在 200 ms 以内的时间窗口因果检验"IT 晚期响应依赖 vlPFC 快速循环投射"的假设。研究不仅考察了反馈环路的来源,还提供了表征方向的定量证据:阻断 vlPFC 神经活动后,IT 群体响应及猕猴的逐图辨别行为向纯前馈深度卷积网络的表现发生显著收敛。

研究背景

核心物体识别要求灵长类在极短时间内从腹侧视觉流读出物体身份。基本前馈的 DCNN 能解释部分 IT 活动,却难以完全预测逐图行为难度和 IT 晚期响应。Kar 等 2019 年进一步按每张图片估计物体解出时间(OST):有些图片在约 90–120 毫秒就达到行为充分的 IT 解码,另一些要到 150–180 毫秒。晚解图片为研究快速循环计算提供了具体对象,但时间延迟本身并不能指出信号来自哪里。候选机制包括腹侧流内部反馈、IT 局部回路、周嗅皮层以及下游前额叶。

腹外侧前额叶(vlPFC)具有几项使其值得优先检验的性质:它与 IT 有强双向连接,含有物体类别选择性神经元,既往冷却或损伤研究也提示前额叶能够调制 IT。不过,“能够调制”可能只是一般警觉、增益或动机作用,不等于它计算并送回特定物体信息。要区分两者,必须在沉默 vlPFC 后同时观察 IT 与行为,并比较早解和晚解图片:若只是整体调制,两组应同样受损;若 vlPFC 是关键循环节点,损害应主要集中在需要晚期 IT 表征的图片,早期响应则相对保留。

本文用 muscimol 可逆沉默同侧 vlPFC,同时记录 IT 阵列活动并进行二选一识别。注射与非注射日交替、逐图 OST 预分组以及视野同侧/对侧比较,用于控制状态和动机解释。研究还检验一个反直觉预测:如果正常 IT 晚期活动包含 vlPFC 反馈,去掉它后,IT 与行为反而应更接近纯前馈模型。结果支持 vlPFC 对晚期识别表征的必要贡献,但早解图片也有较小损伤,说明一般调制可能并存。具体反馈路径、药物扩散范围以及 vlPFC 是否还直接参与行为读出,仍不能由本实验完全裁决。

研究思路

研究设计基于因果干预逻辑:基于 Kar 等(2019)预先标定的逐图物体解出时间(OST),若 vlPFC 作为关键节点参与腹侧流循环计算,可逆沉默该区域应诱发两项特定表型:(1) IT 群体编码中线性可解码的物体身份信息在晚期时段选择性下降,早期时段基本保持完整;(2) 行为识别损伤优先集中在晚期解出的图片(late-solved),早期解出的图片(early-solved)受累较轻。作者设定了三项互斥假说(图 3C):H0(vlPFC 不参与核心物体识别,两类图像均无改变);H1(vlPFC 仅提供非特异的整体状态或增益调制,两类图像表现出等幅度的损伤);H2(vlPFC 充当核心循环计算节点,晚解图像的神经与行为损伤显著更大)。实验向 vlPFC 微量注射 GABAA 受体激动剂 muscimol,并同步记录同侧 IT 皮层阵列放电,结合计算模型对反馈信息流的方向进行实证检验。

方法

实验动物为 2 只成年雄性恒河猴(猴 N,9 岁;猴 B,5 岁)。每只猴在 IT 皮层植入两组 96 通道 Utah 阵列(猴 B 植入左半球,猴 N 植入右半球),覆盖前后轴不同区域;以 20 kHz 采样记录多单元活动(MUA),从 384 个电极中筛选出视觉驱动显著且图像响应一致性高的 153 个有效位点。vlPFC 注射靶点通过单电极预先探测确定:定位具有强视觉驱动和粗略类别选择性的位点(共记录 15 个位点,猴 B 7 个、猴 N 8 个),经结构 MRI 确认位于主沟(principal sulcus)的外侧与腹侧皮层(图 2A)。

实验以“天”为单位交替开展注射日与非注射日测试(每种条件至少 10 个测试日,注射后至少间隔 1 天)。注射日先进行未给药基线的被动注视任务,随后在 vlPFC 分 5 个深度(间隔 0.5 mm)微量注射 muscimol,静置 30 分钟后开展正式测试。行为任务为二选一物体辨别:注视中央点 300 ms,呈现 100 ms 测试图片(来自 1320 张图片集,涵盖 10 个物体类别,叠加复杂自然背景),空屏 100 ms 后呈现目标物体与干扰物的规范视图,猴通过眼跳做出选择并维持注视 400 ms;行为指标按一对多方式对 9 个干扰物取均值。依据前期研究确立的 OST 标定,分析聚焦于早解图像(OST 90–120 ms,209 张)与晚解图像(OST 150–180 ms,234 张),且两组图片的基线辨别敏感度 d′ 匹配在 2–4 之间。神经分析采用 10 ms 滑动窗训练线性支持向量机(SVM)解码器;模型比较采用偏最小二乘回归将前馈 DCNN 的特征投影至各 IT 记录位点,评估解释方差百分比(%EV),并在行为层面考察单图难度排序与模型的相关性。

主要结果

  1. vlPFC 沉默选择性压低 IT 晚期平均放电率(图 4B–D)。在 153 个 IT 记录位点上,早期时段(90–120 ms)的群体平均放电率无显著变化(配对 t 检验,t(152)=0.59,p=0.56,DRearly ≈ −18% ± 46.4%);晚期时段(150–180 ms)出现显著下降(DRlate ≈ −31.83% ± 10.4%,t(152)=8.59,p<0.0001)。放电率开始出现抑制的时机(约 140 ms)与 vlPFC 神经元的视觉反应潜伏期相吻合(图 2D)。
  2. vlPFC 沉默特异性削弱晚解图像的 IT 群体解码(图 4E–G)。在各图片对应的 OST 时刻,晚解图片的线性解码准确率下降了 2% ± 0.61%,而早解图片仅下降 0.16% ± 0.53%(t(441)=2.41,p=0.0165);在 150–180 ms 窗口内两组曲线的差异更为明显(t(441)=7.3,p<0.0001)。该选择性效应在不同基线表现水平(d′ < 2、2–2.5、2.5–3、> 3)以及 10 个辨别任务中均稳定存在(t(9)=1.97,p=0.04);且刺激呈现在记录半球对侧视野时更为强烈(猴 N:对侧下降 5.8% 对同侧 2.01%;猴 B:对侧 2% 对同侧 0.1%;置换检验 p<0.001),排除了饱腹或动机改变等非特异全身因素的干扰。
  3. 识别行为缺陷优先集中于晚解图像(图 5)。muscimol 注射导致二选一辨别的总体准确率降低 6.03% ± 0.3%(t(859)=17.13,p<0.0001),其中晚解图片下降 7.4% ± 0.5%,早解图片仅下降 4.76% ± 0.45%(组间交互 t(441)=2.40,p=0.0085);总体反应时延长 46.3 ± 2.1 ms(t(858)=16.37,p<0.001),晚解图片延长时间更长(55 ± 3.9 ms 对 34 ± 4.19 ms,t(441)=2.05,p=0.04)。对侧视野呈现同样表现出更强的行为损伤。
  4. vlPFC 沉默使腹侧流表征趋近纯前馈模型(图 6)。失活后,IT 晚期响应(150–180 ms)对前馈网络 AlexNet 的预测匹配度显著提高,中位解释方差 %EV 从 21.98% 升至 28.28%(t(152)=8.55,p<0.0001),早期响应与模型的拟合度则无明显变化;晚期神经响应的表征几何与早期前馈响应本身的相似度上升。在行为层面,实验猴逐图难度模式与前馈模型行为预测的相关系数由 0.43 升高至 0.56(置换检验 p<0.0001)。含局部循环的 CORnet-S 在失活后同样表现出更高的拟合度(%ΔEV = 2.41% ± 0.47%,行为相关 +0.14)。此外,连接 IT 活动与行为决策的线性读取模型在给药前后参数保持稳定,表明缺陷源于 IT 表征质量本身,而非下游决策读取环节的改变。

图注解读

图 1 · 方法动机:物体求解时间(OST)的定义

原文图注:Figure 1. Motivation (A) Estimation of object solution time (OST). For each image presentation (an example image of a bear is shown; 100 ms), we counted the number of multi-unit spike events (see STAR Methods for details) per site in nonoverlapping 10-ms windows after stimulus onset to construct a single population activity vector per time bin. These population vectors (image-evoked neural features) were then used to train and test cross-validated linear support vector machine decoders (D) separately per time bin. The decoder outputs per image (over time) were then used to perform a binary match to sample task (see STAR Methods) and obtain neural decode accuracies at each time bin. The time at which the neural decodes equal the primates' (pooled monkey) performance was then computed as the OST for that specific image. (B) Temporal evolution of linearly decodable object identity information in IT on an image-by-image basis.

(A) 展示逐图流程:图片呈现 100 ms 后,以 10 ms 窗口构建多单元群体活动向量,训练交叉验证的线性 SVM 解码器,解码精度追平灵长类行为表现的时间点界定为该图的 OST。(B) 示意了 1320 张图片的 OST 分布曲线:早解图片(蓝色)解码快速攀升,晚解图片(红色)需要更长时间的神经积分。该标定来自既往研究,为当前实验提供了预先独立界定的测试子集。

Figure 1

图 2 · vlPFC 注射靶点定位及其功能性质

原文图注:Figure 2. Approximate Location and Functional Properties of Injection Targets in vlPFC (A) The left panel shows the approximate anterior-posterior (AP) boundaries (black dashed lines) of the chamber that was placed over vlPFC. The green line denotes the location of the coronal section displayed on the right. The arrow refers to more anterior locations matching the other coronal MRI images. The right panels show structural MRI images of the approximate targets of the muscimol injections (SAR, superior arcuate sulcus; PS, principal sulcus; IAR, inferior arcuate sulcus). Injections were made lateral and ventral to the principal sulcus (indicated by the green patch). (B) Sample neural responses from a vlPFC site (averaged across 10 repetitions and 80 images) exhibiting visual drive. Error bars denote SEM across images.

(A) 用结构 MRI 显示注射舱与 muscimol 靶点:位于主沟外侧腹侧(绿色区块),冠以 SAR、PS、IAR 三条沟的解剖标记。(B) 示例 vlPFC 位点的平均响应时间 course,证明靶点有视觉驱动。(C)(原文图注此处截断)示例位点的粗类别选择性:按物体类别平均的响应曲线。(D) 15 个 vlPFC 位点(猴 B 7 个、猴 N 8 个)的响应潜伏期分布。这张图的作用是把"我们打药的地方就是有视觉响应、有类别选择的 vlPFC"落到实处;其潜伏期(图 2D)还与图 4B 中 IT 响应开始下降的时间相互印证,是"vlPFC 反馈在约 140 ms 后抵达 IT"这一时间链的关键一环。

Figure 2

图 3 · 实验设计与三个假设

原文图注:Figure 3. Experimental Setup and Hypotheses (A) Pharmacological inactivation of vlPFC (ipsilateral to the IT recording location) with simultaneous IT population recordings. (B) We divided the experiments into two different sessions, without (gray boxes) and with (green boxes) muscimol injections, conducted on consecutive days, with the exception of a passive viewing session before injections on the days with muscimol injections (see STAR Methods). We repeated each session in the same order after a minimum gap of 1 day (empty boxes). We completed at least 10 sessions for each condition type. (C) Hypothesized effects of vlPFC inactivation. One hypothesis (H0) is that the robustness of the IT object codes for core object recognition (~200 ms of processing) does not rely at all on vlPFC, which predicts no change in IT responses or behavior for both early- (blue bar) and late-solved (red bar) images. Another hypothesis (H1) is that vlPFC plays an overall modulatory role in ventral stream computations, which predicts deficits in IT population solution goodness and behavior that are equal for both groups of images. Finally, a third hypothesis (H2) is that vlPFC as a critical recurrence node in the brain circuitry for core objection, which predicts larger IT population solution deficits and larger behavioral deficits for late-solved images.

(A) 示意同侧组合:一边向 vlPFC 注射 muscimol,一边在 IT 用 Utah 阵列同步记录。(B) 时间线:注射/非注射日交替,注射日前先做一次被动注视(作为当日内的对照),每类条件至少 10 个 session。(C) 用蓝/红柱对比早解与晚解图片在三个假设下的预期缺陷模式:H0 无变化、H1 等量缺陷(整体调制)、H2 晚解图片缺陷更大(关键循环节点),并注明 H1+H2 混合的可能。这张图是全篇的推理框架:后面所有结果都对照这三个假设读——最终数据落在 H2 为主、混有少量 H1 成分的位置。

Figure 3

图 4 · 神经结果:晚期 IT 群体编码被特异性削弱

原文图注:Figure 4. Neural Experiments and Results (A) We measured neural responses from 153 sites in the IT cortex across two monkeys while they performed a battery of core recognition tasks, with and without muscimol injections in vlPFC. (B) Normalized mean IT firing rate in the two conditions (black, no-muscimol control condition; green, after muscimol injections in vlPFC). The shades indicate SEM across images. (C) We observed no significant differences across neurons at the early phase (90–120 ms) of the IT responses (DRearly = −18% ± 46.4%, mean ± SEM; paired t test; t(152) = 0.5885, p = 0.5571). (D) We observed a small but significant reduction in firing rates at the late phase (150–180 ms) of the IT responses (DRlate = −31.83% ± 10.4%, mean ± SEM; paired t test; t(152) = 8.5906, p < 0.0001). Error bars for (C) and (D) denote the standard deviation of responses across images per neuron. (E) Images (n = 234) with late OST (in red) showed a significantly higher drop in IT population decode accuracy across time (left panel) and at their corresponding OST (right panel) upon vlPFC inactivation compared to the images (n = 209) with early OST (in blue). This comparison was made with all images that had a measured (behavioral) d0 between 2 and 4, as measured in separate animals (Kar et al., 2019). Error bars denote SEM across images. We quantified the strength of this interaction as the difference in the muscimol-induced change (right panel), and we refer to that measure as dIT.

(B) 黑线(对照)与绿线(给药)的平均 IT 发放率时间 course:两条线在约 140 ms 前几乎重合,之后绿线低下去——这是"晚期依赖 vlPFC"最直观的形态。(C)(D) 分别对早期和晚期时相做逐神经元配对比较:早期不显著、晚期显著下降。(E) 左图是逐 10 ms 的解码准确率变化,红(晚解)蓝(早解)两条曲线在 150–180 ms 分开;右图聚焦各图自己的 OST,定义交互量 dIT。(F) 显示 dIT 在不同行为准确率分组下恒为负(即晚解图片解码缺陷更大)。(G) 按对侧/同侧视野分组,交互在记录阵列对侧视野的图片上显著更强。此图支撑"主要结果"第 1、2 条。

Figure 4

图 5 · 行为结果:晚解图片的行为缺陷更大

原文图注:Figure 5. Behavioral Experiments and Results (A) We tested behavioral performance on ten object categories, where performance was derived from the corresponding 45 binary object discrimination tasks with those 10 categories. (B) Two example trials of the binary object discrimination task showing the timeline of events. Monkeys fixate on a central dot, and then the test image at 8° containing 1 of 10 possible objects is shown for 100 ms (shown is a car [left trial] and a zebra [right trial]). After a 100-ms delay, a canonical view of the target object and a distractor object (one of the other nine objects) appears (randomly assigned on each trial to the left and right positions), and the monkey indicates which object was present in the test image by making a saccade to one of the two choices. We compared performance on sessions with and without muscimol injections in vlPFC. (C) vlPFC inactivation resulted in a larger performance drop among images (n = 234) with late OST (red bar), compared to the images (n = 209) with early OST (see Results for statistics).

(A) 10 个物体类别及其两两组成的 45 个二选一任务。(B) 试次时间线:100 ms 测试图 → 100 ms 空屏 → 目标+干扰物选择屏,扫视选择。(C) 核心柱状图:late-solved(红)与 early-solved 图片的给药后成绩下降对比,晚解组下降更大(7.4% vs 4.76%)。(D)(图注此处截断)显示 dB 在不同行为准确率分组下恒小于零,即在大多数子任务上晚解图片缺陷更重。(E)(图注此处截断)对侧/同侧视野的行为缺陷比较,与图 4G 的神经结果同构。此图支撑"主要结果"第 3 条,并与图 4 形成"神经编码缺陷—行为缺陷"的对应。

Figure 5

图 6 · 与计算模型比较:沉默 vlPFC 使腹侧流更像前馈模型

原文图注:Figure 6. Comparison with Computational Models: vlPFC Inactivation Causes the Ventral Stream to Behave More Like Feedforward Models (A) We showed 683 images to the monkey (fixated passive viewing) while recording simultaneously from their IT cortex, with and without vlPFC inactivation (top panel). The dashed red line denotes the recurrent pathway between vlPFC and the primate ventral stream. We compared the IT responses with and without vlPFC inactivation to those of the penultimate ("IT") layers of a feedforward DCNN model of the ventral stream (bottom panel) using previously established methods (see STAR Methods). We also compared the pattern of monkeys' behavioral responses (pattern of difficulty over images, see Rajalingham et al., 2018) with and without vlPFC inactivation to the model's behavioral pattern. In both types of comparisons, the key measure is referred to as predictivity, as it assesses the goodness of model predictions on new images.

(A) 示意实验逻辑:683 张图被动注视下记录 IT,虚线红箭头标出 vlPFC 与腹侧流之间的循环通路;把给药前后的 IT 响应和猴行为分别与前馈 DCNN 的"IT"层及模型行为比较,指标是留出图片上的预测力(predictivity)。(B) 上排:AlexNet fc7 对 IT 早期/晚期响应的 %EV,给药前(黑)后(绿)对比——晚期显著升高、早期不变;下排:猴逐图难度模式与模型行为的相关从 0.43 升至 0.56。这张图支撑"主要结果"第 4 条,也是全文最反直觉的发现:去掉一个脑区,神经表征反而"更像"人工模型——因为正常脑比纯前馈模型多做的正是 vlPFC 那部分循环加工。

Figure 6

讨论

作者指出,vlPFC 对 IT 皮层的作用不仅体现为普遍的增益调节(H1),更表现为在晚期时相对 IT 分布式表征进行特定重构,使其向行为可分类的解空间投影(H2)。当 vlPFC 功能受阻时,腹侧流系统的功能退化为浅层前馈加工状态,识别损伤集中出现于前馈模型同样难以解决的图片子集上。该发现与既往冷却或结构损毁研究(如失活 MT 降低 V1/V2 反应,或额叶损伤减弱颞叶选择性)具有一致性,但本工作将因果分析推进至核心识别所依赖的 200 ms 以内自然时序,且在逐图分辨率上建立了电生理与行为的对应。

讨论针对 Minamimoto 等(2010)关于前额叶切除未损伤物体分类的文献进行了解释:两项研究在病变范围、刺激属性与任务窗口上存在明显差异(既往研究使用无背景的规范图片、刺激呈现时间长达 0.5–1.5 s 且伴随预提示,偏向不需要快速循环介入的简单识别情境)。关于实验局限,当前药理手段无法指明反馈信号重入腹侧流的具体解剖中继(前馈投射主要终止于 45 与 46 腹侧区,反馈弥散分布于 TE/TEO,可能包含经由额叶眼区的间接投射);早解图像同样出现的轻微行为受损提示前额叶可能并存非特异性增益调控,或直接参与了部分运动输出;局部注射(估算扩散体积约 0.4 cm³)仅部分抑制了 vlPFC 区域,尚不能完全排除药物向邻近皮层的外周扩散。未来的计算神经科学研究需构建显式整合 vlPFC 节点的图像可计算循环模型,以定量测试此类反馈回路的动力学机制。

一句话总结

本实验在药理失活与计算模型的交叉检验中提供了因果证据:可逆沉默 vlPFC 导致 IT 晚期神经表征及识别行为向纯前馈 DCNN 显著靠拢,证实生物视觉系统超越前馈卷积网络的核心计算依赖前额叶快速循环回路。同时,局灶药理阻断仅部分抑制了局部皮层,行为准确率降幅处于数个百分点区间,表明额叶循环加工主要承担难解知觉条件下的精确微调,而非基础特征的初始构建。

审校与证据追溯

当前来源未附审校评注。请参照上方登记状态。