Behavioral theories and the neurophysiology of reward

这是一篇把"动物学习理论"与"微观经济效用理论"两套行为理论当成解剖刀，去切多巴胺神经元、眶额叶皮层和纹状体单细胞放电数据的奖励神经生理学综述。它值得精读，是因为作者的核心主张至今仍是这个领域的元问题：奖励没有专门的感觉感受器，其功能只体现在行为后果上，所以研究奖励的脑机制必须先借行为理论把"奖励"定义成可测量的理论变量——预测误差、偶然性、期望值、方差——再去找它们的神经对应物。

研究背景

文章开头用四个场景点题：巴甫洛夫的狗对铃声的分泌唾液、剑桥 Mill 河边酒馆的一杯麦酒、法国小镇集市上按概率和价格权衡选酒、密西西比河上驳船船长对船闸定价结构的优化决策——共同点都是在不同不确定度下预期行为的结果并由大脑评估价值和不确定性、把决策引向当前最优。日常语言里"奖励"至少有两种朴素含义：一是"做得好而得到的东西"（工具性强化），二是主观的愉悦和喜好（享乐功能），但作者指出这两种理解都不足以构成对奖励功能的完整一致描述。最早的科学定义来自 Pavlov（1927)：奖励是能引起行为改变（学习）的对象——狗只在铃声反复先于香肠出现后才对铃声分泌唾液，这个定义绕开了"是否需要做什么"与"是否感到愉悦"两个朴素概念，却恰恰是神经生物学研究的关键；随后 Thorndike（1911）的效果律（"奖励让你反复回来"）与 Skiner 的操作条件作用把强化概念推进了一步，纯行为主义立场虽然反心智色彩浓重，却为不掺杂主观感受的神经生物学研究铺了路。对动物可用奖励主要是植物性的食物和饮料，其"奖励效应究竟是什么"（看见苹果、尝到味道、吞咽、还是血糖升高）在概念上仍有歧义，糖精这类无营养但增强行为反应的物质说明味道本身可以是奖励，而动物回避缺乏必需氨基酸的食物提示最终的奖励效应可能是对内环境参数的影响。

另一条平行线来自经济学：个体通常在资源有限、结果不确定的世界里运作。为使结果的不确定性可处理，Pascal 约在 1650 年发展了概率论——决策者把各潜在结果按概率加权求和、选期望值（expected value, EV）最高者；近百年后 Bernoulli（1738）发现结果的效用并非随价值线性增长而常呈凹函数，由此开创微观经济决策理论。作者就此提出"呼唤理论"的核心论证：初级感觉系统有专门的物理、化学感受器，其功能受力学、光学、声学定律支配；奖励则没有专门感受器，信息经由机械、味觉、视觉、听觉感受器进入大脑，因此奖励的功能不能完全从输入事件的物理化学属性推出，而主要以行为效应界定——研究奖励的神经机制必须基于能够界定奖励功能的行为理论，动物学习理论与微观经济学正是两个突出的候选。

研究思路

全文的骨架是一条"理论→理论变量→神经对应物"的逻辑链。第一章先用动物学习理论整理出奖励诱导学习的三个必要条件：接近性（contiguity，条件刺激 CS 或动作与奖励的时间邻近）、偶然性（contingency，奖励在有刺激时比无刺激时出现得更频繁才形成兴奋性条件化，反之则成为条件抑制子）与预测误差（prediction error，源自 Kamin 1969 的阻断效应：被完全预测的奖励不再促进学习，形式化为 Rescorla-Wagner 规则 ΔV ∝ λ–V，学习随预测精化逐步衰减、预测的奖励被取消则消退）。相应地，理论要求神经元也应当区分三类刺激（条件兴奋子、条件抑制子、中性刺激）、其反应获取应当只依赖未预测的奖励、且理想情况下应直接发放双向预测误差信号——这些就是可以被移植到单细胞记录上的"可检验预言"。第二章用微观效用理论把奖励量化为可比的数值：通过选择行为给奖励标定价值，用概率加权得期望值，用凹效用函数把物理价值转成效用并得到风险态度（凹函数意味着风险厌恶），再用负指数效用函数的拉普拉斯变换把期望效用拆成期望值与方差两个可分离成分——于是"量值、概率、期望值、期望效用、方差"都成为可以在神经元上寻找对应物的理论变量。作者把这一框架明确区别于纯行为主义：表述基于可观察行为，但表征与预测等心理状态是必需的；至于愉悦感究竟是行为的因果原因还是副现象（epiphenomenon），本文有意悬置，以便做客观的动物生理学测量。

方法

本文是综述，其证据主体来自清醒行为动物（尤其猕猴）的单神经元胞外放电记录，加上少量大鼠实验。任务范式围绕学习理论设计：Pavlovian 条件化把任意视觉或听觉条件刺激（CS）与延迟 1.5–2.0 秒的液体或食物奖励配对，便于检验接近性；三刺激与抑制子范式（把抑制子与奖励预测 CS 配对同时扣留奖励）用于检验偶然性；阻断（blocking）与条件抑制（conditioned inhibition）范式用于在特定情境中制造预测误差。工具性任务则包含指令线索、记忆延迟、运动执行与奖励交付等多个事件段，便于分离奖励预期、行为反应与结果编码。记录的脑结构包括中脑多巴胺神经元、眶额叶皮层、纹状体（尾核、壳核、腹侧纹状体）、杏仁核、背外侧前额叶、前扣带回与辅助眼区等；奖励常为果汁（可分辨亚毫升量级差异），并以饱足（satiation）操作检验反应反映奖励价值而非味觉本身。分析要点是区分相位反应（phasic，对事件起止的瞬时反应）与持续激活（sustained，任务区间的平台式激活）、把放电对齐到刺激或奖励时刻做逐试次对齐的栅格图与刺激后时间直方图，并把单细胞反应按理论范畴（量值、概率、EV、方差）做参数化比较。文中同时交代了关键的方法学对照思路：用价性相反的强化物（奖励对比厌恶物）剥离注意混淆，用与运动的关联性检验排除运动输出混淆。

主要结果

1. 来自多项实验的多巴胺神经元结果分别符合接近性、偶然性和预测误差框架，并提示单神经元反应的习得可能遵循与行为学习相似的规则。 接近性：对新异 CS 与奖励配对数十次后，多巴胺神经元对 CS 获得反应、对奖励本身的反应消失（图 2）；偶然性：对奖励预测刺激激活、对预测"无奖励"的条件抑制子抑制活动、对排除反应泛化后的中性刺激几乎不反应（图 3），扣留奖励数十次即可撤销 CS 反应（图 5）；预测误差：阻断范式下，只有与未预测奖励结合的 CS 能习得反应，而与已被另一 CS 预测的奖励配对的 CS 不能学习，尽管接近性与偶然性条件均已满足（图 6）——单神经元水平的学习与前馈行为学习遵循相似规则。

2. 多巴胺神经元发放双向预测误差信号，其预测包含奖励的精确时刻。 对未预测奖励激活、对如约而至的预测奖励不反应、对预测奖励的取消抑制活动，形式化为"多巴胺反应 = 实际获得的奖励 − 预测的奖励"，即 Rescorla-Wagner 规则中 (λ–V) 项的神经等价物、神经可塑性的理想教学信号（图 7）；阻断与条件抑制正式范式进一步验证了这一等式在被阻断刺激与抑制子上的所有推论（图 8）。时间上，奖励延迟交付会在原定时刻引出抑制、在新时刻引出激活，提前交付则只在新时刻激活（图 7）；当奖励概率随距上次奖励的试次数上升时，正向误差反应逐试次递减、负向误差递增——这一结果实际上与时间差分强化学习模型的一个假设方向相反（图 9）。

3. 奖励系统的神经元从多维度刺激中专门提取奖励成分。 眶额叶皮层神经元按 CS 预测的具体饮料种类分辨指令线索（区分石榴-苹果、葡萄-橙汁），而对线索的视觉物体特征不敏感、极少编码空间位置（图 4）；杏仁核与纹状体也有类似以奖励特征为主的反应。价性检验显示多巴胺神经元对奖励及其预测物优先激活、对厌恶气吹与盐水极少激活，而纹状体紧张性活跃神经元对奖惩两性强化物都有反应、不区分价性，可能反映一般性注意。饱足会降低眶额叶（含次级味觉区）的奖励反应但不影响岛叶与额岛盖初级味觉区的味觉反应，说明前者编码的是奖励功能而非味道。

4. 持续激活揭示奖励预期，其中一部分同时编码行为反应，构成目标导向行为的候选神经机制。 在指令线索后的运动准备期（尾核，图 10a）与奖励交付前（壳核，图 10b）出现只对奖励参数敏感、与具体动作无关的持续激活，分布于纹状体、杏仁核、眶额叶、背外侧前额叶、前扣带回与辅助眼区，且随学习而建立、随期望更新而调整；另一类神经元（背外侧前额叶与尾核，图 11）在编码预期结果的同时分辨左/右目标或运动/不运动，即同时代表"为得到该结果而执行的动作"，符合 Dickinson 与 Balleine 对"奖励成为行为目标"的两条判据（行为准备时的结果预期 + 动作-结果偶然性表征）。作者提醒还需用偶然性操作与价值贬值实验将其与"奖励-行为汇聚编码"及习惯机制区分开。

5. 经济变量在神经元上有分离的对应物。 量值：纹状体有随预测奖励量（0.12/0.18/0.24 ml）递增的尾核 CS 反应，也有反向（量值越大反应越小）的腹侧纹状体反应（图 13），并见于前额叶、顶叶、后扣带回；概率：多巴胺神经元的 CS 相位反应随奖励概率递增，顶叶与苍白球亦有类似活动，但纹状体紧张性神经元不编码概率；期望值：多巴胺神经元对 CS 的相位反应随量值×概率之积单调递增而无法分辨两个成分，看似编码 EV（图 14a），但因神经噪声尚难判定是 EV 还是期望效用（EU）；不确定性：一部分多巴胺神经元在 CS-奖励区间发放随方差（而非熵——三种概率分布的熵均为 1 bit）单调递增的持续激活，p=0.5 时最大，与 EV 编码的相位反应互不相关（图 14b），后扣带回亦有随方差增大的任务相关激活。这正是凹效用函数图形分析所预言的"价值与不确定性可分离"（图 12）。

图注解读

图 1 · 动物学习理论界定奖励功能的三个基本假设

原文图注：Figure 1 Basic assumptions of animal learning theory defining the behavioral functions of rewards. (a) Contiguity refers to the temporal proximity of a conditioned stimulus (CS), or action, and the reward. (b) Contingency refers to the conditional probability of reward occurring in the presence of a conditioned stimulus as opposed to its absence (modified from Dickinson 1980). (c) Prediction error denotes the discrepancy between an actually received reward and its prediction. Learning (ΔV, associative strength) is proportional to the prediction error (λ–V) and reaches its asymptote when the prediction error approaches zero after several learning trials. All three requirements need to be fulfilled for learning to occur. US, unconditioned stimulus.

这是全文的理论总纲示意图：(a) 说明接近性——CS（或动作）与奖励在时间上须紧邻；(b) 用"有刺激时奖励出现的条件概率 vs 无刺激时"的对比图示偶然性，有刺激后奖励概率更高为兴奋性条件化、更低为条件抑制子、不变则为中性（对角线情形）；(c) 画出预测误差 λ–V 与联想强度 ΔV 随学习试次上升、误差趋于零时学习到达渐近线的曲线。读图要点是三个条件各自独立、且缺一不可——后文图 2、3、6 分别用神经数据逐一检验。这张图为全文"理论先行"的写法定调。

图 2 · 接近性检验：单个多巴胺神经元在一次完整学习过程中的反应获取

原文图注：Figure 2 Testing the contiguity requirement for associative learning: acquisition of neural response in a single dopamine neuron during a full learning episode. Each line of dots represents a trial, each dot represents the time of the discharge of the dopamine neuron, the vertical lines indicate the time of the stimulus and juice reward, and the picture above the raster shows the visual conditioned stimulus presented to the monkey on a computer screen. Chronology of trials is from top to bottom. The top trial shows the activity of the neuron while the animal saw the stimulus for the first time in its life, whereas it had previous experience with the liquid reward. Data from Waelti (2000).

这是一张单细胞逐试次栅格图：每行一个试次、每点一次放电、自上而下按时间排列，两道竖线分别标刺激与果汁奖励的时刻；第一行是该猴子生平第一次看到这个 CS（但此前已熟悉果汁奖励）。读图核心是看"反应位置随试次迁移"：最初放电集中在奖励时刻，经数十次配对后放电前移到刺激时刻、而奖励处的反应逐渐消失——这正是"奖励反应转移到预测它的刺激上"的教科书画面，也是多巴胺神经元特有的现象（正文提醒：反应转移到 CS 在其他神经结构并非普遍规律）。它支撑主要结果第 1 条的接近性部分，说明 CS-奖励时间邻近足以让单个神经元把反应从 US 挪到 CS。

图 3 · 偶然性检验：单个多巴胺神经元对三类刺激的反应

原文图注：Figure 3 Testing the contingency requirement for associative learning: responses of a single dopamine neuron to three types of stimuli. (Top) Activating response to a reward-predicting stimulus (higher occurrence of reward in the presence as opposed to absence of stimulus). (Middle) Depressant response to a different stimulus predicting the absence of reward (lower occurrence of reward in the presence as opposed to absence of stimulus). (Bottom) Neutral stimulus (no change in reward occurrence after stimulus). Vertical line and arrow indicate time of stimulus.

同一个多巴胺神经元对三类统计性质不同的刺激给出三种反应：顶部对"有它之后奖励更常出现"的条件兴奋子产生激活反应，中部对"有它之后奖励更少出现"的条件抑制子产生抑制反应，底部对"有无奖励频率不变"的中性刺激几乎无反应；竖线与箭头标刺激时刻。关键读法在于对照理论预言：偶然性要求神经元恰好按图 1b 的条件概率结构区分三类刺激——图中的激活、抑制、零反应三个方向正是一一对应。这排除了"CS 反应只是感觉或运动反应"的解释，支撑主要结果第 1 条的偶然性部分。

图 4 · 眶额叶皮层的奖励分辨

原文图注：Figure 4 Reward discrimination in orbitofrontal cortex. (a) A neuron responding to the instruction cue predicting grenadine juice (left) but not apple juice (right), irrespective of the left or right position of the cue in front of the animal. (b) A different neuron responding to the cue predicting grape juice (left) but not orange juice (right), irrespective of the picture object predicting the juice. From Tremblay & Schultz 1999, ©Nature MacMillan Publishers.

两个眶额叶神经元各举一例分辨的"不变性"：(a) 神经元对预测石榴汁的指令线索有反应、对预测苹果汁的无反应，且无论线索出现在动物面前左位还是右位；(b) 神经元对预测葡萄汁的线索反应、对橙汁的无反应，且无论用哪个图片对象来指代那种饮料。读图时看的是变量替换逻辑：把空间位置换掉（a）或把视觉物体换掉（b），反应都跟着"预测的饮料种类"走——说明这些神经元从多维度刺激中专门提取了奖励这一成分，而把位置与物体特征留给额叶其他区域编码（正文引 Rao 等 1997）。它支撑主要结果第 3 条。

图 5 · 奖励扣留后 CS 反应的消退

原文图注：Figure 5 Loss of response in dopamine neuron to the conditioned stimulus following withholding of reward. This manipulation violates the contiguity requirement (co-occurrence of reward and stimulus) and produces a negative prediction error that brings down the associative strength of the stimulus. The contingency moves toward the neutral situation. Data from Tobler et al. (2003).

与图 2 的获取过程相对，这展示消退：在 CS 之后扣留奖励数十次，多巴胺神经元对该 CS 的反应逐渐丧失。读图要点是把它理解为负向误差的作用：预测的奖励不再出现产生负预测误差，按 Rescorla-Wagner 规则削弱联想强度，偶然性于是从兴奋条件化滑向图中对角线的中性情形。这与行为学习的消退现象互为镜像，支撑主要结果第 1 条（偶然性部分末尾）并可反向佐证预测误差机制。

图 6 · 阻断范式：多巴胺 CS 反应的获取受预测误差支配

原文图注：Figure 6 Acquisition of dopamine response to reward-predicting stimulus is governed by prediction error. Neural learning is blocked when the reward is predicted by another stimulus (left) but is intact in the same neuron when reward is unpredicted in control trials with different stimuli (right). The neuron has the capacity to respond to reward-predicting stimuli (top left) and discriminates against unrewarded stimuli (top right). The addition of a second stimulus results in maintenance and acquisition of response, respectively (middle). Testing the added stimulus reveals absence of learning when the reward is already predicted by a previously conditioned stimulus (bottom left). Data from Waelti et al. (2001).

这是学习神经元层面"阻断效应"的关键实验图，左右两列对照：左列中奖励已被一个先前条件化的 CS 预测，再加入第二个 CS 与奖励配对，测试时第二个 CS 完全不习得反应；右列的对照试次中奖励未被预测，同一个神经元照常习得对另一刺激的反应——控制了神经元的"学习能力"本身。读图按上（基线能力）、中（加入第二个刺激）、下（测试第二个刺激）三行推进，看左下试次中反应的缺席。由于此时接近性与偶然性条件均满足而学习仍不发生，这是预测误差必要性的决定性证据，支撑主要结果第 1 条的预测误差部分，也支撑"神经元群体层面的学习可能遵循与行为学习相同的规则"这一重要推论。

图 7 · 多巴胺反应编码时间性奖励预测误差

原文图注：Figure 7 Dopamine response codes temporal reward prediction error. (a, c, e) No response to reward delivered at habitual time. (b) Delay in reward induces depression at previous time of reward, and activation at new reward time. (d) Precocious reward delivery induces activation at new reward time, but no depression at previous reward time. Trial sequence is from top to bottom. Data from Hollerman & Schultz (1998). CS, conditioned stimulus.

五段试次序列（自上而下）操纵奖励交付时机：(a、c、e) 奖励在惯常时刻到达，多巴胺神经元无反应——因为完全被预测；(b) 奖励延迟：在原定奖励时刻出现抑制（负误差："该来的没来"），在新时刻出现激活（正误差："来了"）；(d) 删除因果性解释，提前交付只在新时刻诱发激活，原定时刻不再出现抑制；这一模式表明预测包含奖励发生的时间信息。读图关键是时间轴上"抑制-激活"的错嵌关系：它证明作用于多巴胺神经元的预测包含奖励的精确时刻，而不只是"会有奖励"这一布尔判断。这支撑主要结果第 2 条，并为实验室动物"明知有奖励仍表现出误差反应"提供了合理解释（不知道何时）。

图 8 · 阻断与条件抑制范式中的预测误差编码

原文图注：Figure 8 Coding of prediction errors by dopamine neurons in specific paradigms. (a) Blocking test. Lack of response to absence of reward following the blocked stimulus, but positive signal to delivery of reward (left), in contrast to control trials with a learned stimulus (right). Data from Waelti et al. 2001. (b) Conditioned inhibition task. Lack of response to absence of reward following the stimulus predicting no reward (top), even if the stimulus is paired with an otherwise reward-predicting stimulus (R, middle, summation test), but strong activation to reward following a stimulus predicting no reward (bottom). These responses contrast with those following the neutral control stimulus (right). Data from Tobler et al. (2003).

(a) 阻断检验：在被阻断刺激后取消奖励——该刺激本不预测奖励，故取消不构成误差，神经元无反应；但此时交付奖励反而构成正误差、引发阳性信号。对照列是训练良好的刺激：取消奖励引发抑制反应、交付奖励无反应——两种刺激下反应模式恰好镜像。(b) 条件抑制任务：抑制子后取消奖励无反应（顶部），即使它与一个本预测奖励的刺激叠加（求和检验，中部）也无反应；而抑制子后竟然出现奖励时，误差被"负预测"放大，神经元强激活（底部）；右列中性对照刺激的反应作参照。读图要领是把每一格当成"实际奖励 − 预测"求值：两组范式下多巴胺反应与等式的每一项推断严丝合缝。这是主要结果第 2 条的正式学习理论验证，也是"双向误差编码"最完整的展示。

图 9 · 预测中的时间信息：随试次递进变化的误差反应

原文图注：Figure 9 Time information contained in predictions acting on dopamine neurons. In the particular behavioral task, the probability of reward, and thus the reward prediction, increases with increasing numbers of trials after the last reward, reaching p = 1.0 after six unrewarded trials. Accordingly, the positive dopamine error response to a rewarding event decreases over consecutive trials (upper curve), and the negative response to a nonrewarding event becomes more prominent (lower curve). Data are averaged from 32 dopamine neurons studied by Nakahara et al. (2004), © Cell. Press.

任务中距上次奖励越远、奖励概率越高（连续 6 个无奖励试次后达 p=1.0），因此预测本身随试次序号递增：上图显示对奖励事件的正向误差反应随连续试次递减，下图显示对无奖励事件的负向反应渐趋显著（32 个多巴胺神经元平均）。读图重点在两条曲线相反的走向，它们共同说明预测值在逐试次爬升。作者特别指出此结果与时间差分强化学习模型的内含假设方向相反（按该模型前一试次的负误差应降低当前预测、误差反应应增大）， 这展示任务的具体时间结构如何塑造神经预测——这是主要结果第 2 条末尾的部分，也展示了"用概念驱动的实验如何揭示编码特性"的方法论主张。

图 10 · 纹状体的奖励预期

原文图注：Figure 10 Reward expectation in the striatum. (a) Activation in a caudate neuron preceding the stimulus that triggers the movement or nonmovement reaction in both rewarded trial types, irrespective of movement, but not in unrewarded movement trials. (b) Activation in a putamen neuron preceding the delivery of liquid reward in both rewarded trial types, but not before the reinforcing sound in unrewarded movement trials. Data from Hollerman et al. (1998).

(a) 尾核神经元在触发运动或"不运动"反应的刺激之前激活，两种有奖励试次类型都激活、与具体动作无关，而无奖励的试次不激活；(b) 壳核神经元在液体奖励交付前激活，同样存在于两种有奖励试次类型，但在无奖励试次的强化音之前不激活。读图要领是"跟奖励走、不跟动作走"：激活区分奖励与否、饮料种类与量值，但不同时区分眼动还是肢体动作——这类活动被解释为纯粹的奖励预期表征，分布于纹状体、杏仁核、眶额叶等多个结构，且随任务事件分段（运动准备期、奖励交付前）出现。它支撑主要结果第 4 条的前半部分，并为图 11 的"动作特异性"对比提供基线。

图 11 · 目标导向行为的潜在神经机制

原文图注：Figure 11 Potential neural mechanisms underlying goal-directed behavior. (a) Delay activity of a neuron in primate prefrontal cortex that encodes, while the movement is being prepared, both the behavioral reaction (left versus right targets) and the kind of outcome obtained for performing the action. From Watanabe (1996), ©Nature MacMillan Publishers. (b) Response of a caudate neuron to the movement-triggering stimulus exclusively in unrewarded trials, thus coding both the behavioral reaction being executed and the anticipated outcome of the reaction. Data from Hollerman et al. (1998).

(a) 猕猴前额叶皮层神经元的延迟活动：在运动准备期间同时编码行为反应（左目标 vs 右目标）与执行该动作将获得的结果类型；(b) 尾核神经元只在无奖励试次中对触发运动的刺激反应——同时编码正在执行的行为反应与该反应被预期的结局。读图关键是与图 10 的对照：这些激活不能只用结果预期解释（同一结局下它们还分辨动作），也不能只用运动反应解释（它们还分辨预期结局），只有"动作×结果"的联合表征能同时满足两者。按 Dickinson 与 Balleine 的目标导向行为双判据，这类神经元是迄今最接近目标表征的候选，但作者强调仍需偶然性操作与价值贬值检验来排除"汇聚编码"或习惯机制——这就是标题里"POTENTIAL"（潜在）一词的份量。支撑主要结果第 4 条后半部分。

图 12 · 一个假想的凹效用函数

原文图注：Figure 12 A hypothetical concave utility function. EV, expected value (5 in both gambles with outcomes of 1 and 9, and 4 and 6); EU, expected utility. See text for description.

这是把经济学引入神经实验的概念图：横轴为客观价值，纵轴为效用，凹曲线来自 Bernoulli 传统。两个赌局——{1,9} 与 {4,6} 各以 p=0.5 出现——EV 均为 5（垂直虚线），但{1,9}的期望效用 EU(1–9)（u(1) 与 u(9) 的均值）明显低于 5 处的效用值 u(EV)，{4,6} 的 EU(4–6) 则更接近 u(EV)：结果跨度越大、风险越大、因不确定性损失的效用越多。另一个关键细节是 u(EV) 比 u(1) 与 u(9) 的中点更靠近 u(9)——凹函数下输掉赌局损失的效用大于赢回的效用，这就是风险厌恶的图形来源。读图时应把它当作图 14 的理论前提：价值与不确定性可以在期望效用中作为两个可分离成分出现，为"脑内是否分别编码 EV 与方差"铺路。

图 13 · 纹状体神经元分辨奖励量值

原文图注：Figure 13 Discrimination of reward magnitude by striatal neurons. (a) Increasing response in a caudate neuron to instruction cues predicting increasing magnitudes of reward (0.12, 0.18, 0.24 ml). (b) Decreasing response in a ventral striatum neuron to rewards with increasing volumes. Data from Cromwell & Schultz 2003.

(a) 尾核神经元对预测越来越大量值果汁（0.12、0.18、0.24 ml）的指令线索给出越来越大的反应；(b) 腹侧纹状体神经元对量值递增的奖励反应反而递减。读图要领在于(b)的意义：如果奖励相关活动只是"奖励诱发的注意"，注意应随奖励增大而增强，反应只会单调递增；存在反向编码（量值越大反应越小）说明这是真正的量值分辨、而非注意的副产物。这支撑主要结果第 5 条的量值部分，也是作者在讨论中用来剥离注意混淆的核心论据之一。

图 14 · 多巴胺神经元的奖励价值与不确定性分离编码

原文图注：Figure 14 Separate coding of reward value and uncertainty in dopamine neurons. (a) Phasic response to conditioned, reward-predicting stimuli scales with increasing expected value (EV, summed magnitude × probability). Data points represent median responses normalized to response to highest EV (animal A, 57 neurons; animal B, 53 neurons). Data from Tobler et al. (2005). (b) Sustained activation during conditioned stimulus–reward interval scales with increasing uncertainty, as measured by variance. Two reward magnitudes are delivered at p = 0.5 each (0.05–0.15, 0.15–0.5 ml, 0.05–0.5 ml). Ordinate shows medians of changes above background activity from 53 neurons. Note that the entropy stays 1 bit for all three probability distributions. Data from Fiorillo et al. (2003).

(a) 相位反应随 EV（量值×概率的加权和）单调增大：动物 A 57 个、动物 B 53 个神经元，数据点为对最高 EV 反应归一化的中位数——当量值与概率两参数分别及联合变化时，反应只跟随乘积走，无法区分两成分。(b) CS-奖励区间的持续激活随方差增大：三种条件都是两个量值各以 p=0.5 出现、量值跨度依次增大（0.05–0.15、0.15–0.5、0.05–0.5 ml），53 个神经元的中位数变化单调上升，而三种分布的熵恒为 1 bit——这说明编码的对象是统计方差而非熵。读图要点是两子图的反应类型不同（相位 vs 持续）、且两种信号的神经元水平互不相关，正好对应图 12 中 EV 与 var 作为 EU 可分离两成分的数学结构。这是主要结果第 5 条压轴的证据。

讨论

作者的收束方式是回扣元主张：成熟的行为理论为神经实验提供了"站在实地上的一小步"——学习理论贡献了接近性、偶然性、预测误差，效用理论贡献了量值、概率、期望值、效用与方差，两套理论处理的是同一类行为结果事件，因此许多神经网络机制可以同时由几种理论共同解释并不奇怪；例如不确定性在微观经济学中份额更大，对其神经机制的研究可以直接借助 Pascal 以降数百年的思想积累。讨论中的边界意识很清晰：奖励与注意不易剥离，但有可行方案——用强化强度相当、价性相反的强化物检验特异性，且反向编码的神经元（奖励越小活动越强）天然反驳注意解释；量值编码可能被运动混淆污染（大奖励使动物动得更快，前运动区活动的差异可能反映运动速度），作者建议把神经活动分别与运动参数、奖励参数做相关，并指出反向关系（小奖励对应更慢运动时活动更高）可反驳运动起源解释，但同时坦承常用的运动参数可能敏感性不足以在小幅值差下做出区分；EV 与 EU 的区分被神经噪声所限、暂无法判定；时间结构对预测的作用方向与时间差分模型的某项假设相反，作者如实报告并转述原作者把时间条件化归于情境的补救说明。对话对象横跨大类：Kamin 的阻断效应与 Rescorla-Wagner 规则是预测误差信号的理论母体，Dickinson 与 Balleine 的目标行为标准是图 11 解释的框架，Corbetta 式注意-奖励之争与 Maunsell（2004）的提醒构成"奖励还是注意"的辩题，Kahneman 与 Tversky（1984）被引用来说明期望值逻辑在某些决策情境中受到质疑——作者特意说明实验一开场时新起的博弈论神经生理（Barraclough 等 2004，Dorris 与 Glimcher 2004）与人类脑成像（O'Doherty 2004）这两块尚待积累，药物奖励则因其不需要不同的理论背景而排除在外。文中未详述多巴胺特异性机制（如离子通道层面的东西）——综述明确把范围限定在"理论框架与单细胞放电现象的对应"。

一句话总结

在我（作为读者）看来，这篇综述的真正贡献不是任何一条具体发现，而是它建立的"翻译协议"：学习理论给出预测误差、经济学给出期望值和方差，单细胞数据在两套坐标系里都读出了干净对应——多巴胺神经元是（λ–V）的生物学实现、同时用相位波携带价值用持续波携带方差，这种"一个神经元家族、两套理论变量"的对应在二十年后看依然成立；略显过时的是其单细胞中心主义，如今我们知道预测误差的下游兑现和方差信号的生理基础都比当年复杂得多，但作为方法论范本，这篇文字仍然是我读过的最清楚的一篇。