这是一篇由 Fujita 与 Doi 撰写的综述,系统梳理了心理物理学与电生理学证据并提出理论假说:双眼深度知觉并非完全依赖“解决立体对应问题”之后的匹配信号(match signal),而是由基于相关的信号(correlation signal)与匹配信号按可变权重平行加权求和共同决定,其权重随刺激的时空参数自适应调节。文章围绕一个经典分歧展开——V5/MT 神经元对反相关立体图存在视差反应,同时知觉实验未将该区排除在深度感知系统之外。作者引入“梯度反相关”范式进行统一解释,并将计算特性对应到 V1、V5/MT、V4、IT/AIP 的电生理与人类 fMRI 证据上,系统呈现了视觉系统在不完备计算条件下处理深度信息的工作机制。
研究背景
立体视觉的基本问题之一是立体对应问题:左右眼分别获取视网膜图像,视觉系统必须确定哪些特征来自空间同一物理位置,才能将双眼视差转化为深度感知。基于局部相关计算的视差能量模型能够解释早期视觉皮层神经元的诸多反应,但也引出了一个实验矛盾:当随机点立体图在一侧眼内反转明暗对比时,许多 V1 神经元依然保留视差调谐特性,但观察者通常无法感知到连贯的立体深度表面。基于此现象的经典解释认为,相关计算仅属于初级加工阶段,后续通路必须消除假匹配以建立全局一致的匹配表征,才能支持有意识的深度知觉。因此,反相关刺激长期被用作区分“局部视差检测”与“进入知觉意识”的诊断工具。
这一理论框架在运动视觉区遇到了解释困难:V5/MT 脑区有相当比例的神经元对反相关视差产生反应,而电微刺激与选择概率记录均支持该区参与粗糙深度判断。若所有未解决对应问题的相关信号都无法进入知觉,便难以协调这两类实验证据。原因可能在于:辨别近远与感知完整深度表面并不完全等同;参考平面的相关性、参考面与测试区的间距、视差绝对量以及图像刷新频率,都会影响读出结果。若仅测试完全相关与完全反相关两个极端条件,难以定量分离相关计算与匹配计算的相对贡献。另一方面,V4 与 IT 区域对反相关刺激的反应减弱,表明皮层确实存在向匹配型表征转换的趋势,MT 的反应特性并不能直接否定这种转换过程。
本文将争论重新表述为两类信号是否平行参与加工并根据刺激条件动态分配权重的问题。作者综述了梯度反相关心理物理学实验:通过连续调整反转明暗对比的点比例,使正确匹配比例与全局相关系数沿不同轨迹变化,进而对比两种计算机制对近远判别曲线的拟合表现。结合 V4 群体神经元读出数据及其他皮层区域的记录,加权模型尝试解释精细/缓慢刺激与粗糙/快速刺激为何表现出截然不同的判别特征。该框架主要适用于特定随机点条件下的深度判别任务,其对自然复杂场景中立体对应过程的推广性以及相邻相关参考面的必要性,仍有待更深入的理论阐明;同时,人类行为测量、非人灵长类单细胞记录与人类功能磁共振成像属于不同尺度的实验证据,不能直接等同于单一神经回路中的连续信息流。
研究思路
作者的核心实验设计是“梯度反相关”刺激系列:在立体点阵序列中,按连续比例逐步反转一侧眼的明暗对比度,覆盖 0%(正相关 cRDS)、50%(半匹配 hmRDS)到 100%(反相关 aRDS)。在该连续变化过程中,双眼皮尔逊相关系数从 +100% 经 0% 降至 -100%,而立体匹配比例从 100% 经 50% 降至 0%。这两种计算成分在数学上被解离,并对心理测量函数提出了不同的理论预测:纯相关计算预测在 hmRDS 条件下表现处于随机猜测水平(50% 正确率),在负相关区域出现判别反转(反深度知觉,reversed depth);纯匹配计算则预测任务表现随匹配比例单调下降,仅在 aRDS(0% 匹配)处降至随机水平。因此,心理测量函数的曲线形态可用于直接检验两类机制的贡献比例。
在此基础上,作者构建了加权平均计算模型(图 3a):首先在相关与匹配两条平行支路上分别编码由“视差符号 × 匹配程度”构成的双变量信号;随后在远/近检测器之间进行拮抗相减(near/far opponent readout);接着引入相对权重参数 w 对两路输出进行加权平均;最终通过阈值决策输出二元近远选择。模型中其他参数具有特定的几何约束(检测器幅值参数不改变曲线与 50% 概率线的交点,S 型函数的上下渐近线不改变纵截距),因此仅调节相对权重 w 即可检验其能否复现行为数据。在神经生理层面,作者将该框架投射到皮层层级:采用 cRDS 与 aRDS 调谐幅度比(amplitude ratio,理论上纯相关信号为 1,纯匹配信号为 0)作为评估各脑区加工阶段的定量指标,并结合 92 个 V4 神经元的群体反应检验信息表征的转变过程。
方法
心理物理学实验采用动态随机点立体图(点阵以恒定频率刷新),刺激呈现为包含中央测试圆盘与外围环形参考面的同心结构,被试需要判断中央圆盘相对外环表现为近还是远(随机水平为 50%,低于 50% 表示知觉反转)。实验包含两个主要序列:其一将中央与外环的视差由 0.038°(精细立体视觉范围)逐步增加至 0.488°(粗糙立体视觉范围),测量不同视差下判别正确率随匹配比例的变化曲线;其二固定视差为 0.24°,将点阵刷新率从 5.3 Hz 提升至 42.5 Hz,用以分离瞬时(transient)与持续(sustained)两条时间通道的相对激活程度。第三项实验通过“点对配置”操纵局部空间相关性:在垂直方向上将同极性点两两配对(正配对,匹配点配匹配点),或将匹配点与反转点交叉成对(负配对),在保持整体全局相关为 0 的前提下改变局部相关性的空间方差,检验匹配型知觉是否依赖局部相关性检测(图 4)。在模型拟合中,作者推导了四阶段加工对应的心理测量函数解析式,仅将相对权重 w 作为自由调节参数,其余参数保持固定。
神经电生理分析整合了各皮层区域在 cRDS 与 aRDS 条件下的调谐幅度比数据,并引入两部分关键证据:其一是 V4 神经元在梯度反相关刺激下的单单元放电及 92 个神经元的群体平均调谐(远偏好神经元的调谐曲线在汇总前以 0° 视差为对称轴翻转对齐);其二是对比两项人类 fMRI 实验证据(Bridge 与 Parker 的旋转楔形设计,以及 Preston 等的多体素模式分类解码),逐一评估猴电生理与人类脑成像在各层级视觉区的一致性与差异。
主要结果
-
相关信号在特定条件下可参与有意识的深度感知。当 aRDS 紧邻 cRDS 参考面呈现时,被试能够稳定判别视差,但知觉到的近远深度与物理视差符号相反(即反深度知觉,reversed depth perception);若在双眼间引入约 100 ms 的时间延迟,aRDS 可诱发正确的深度感知;若将参考面替换为 aRDS、非相关图案,或在测试区与参考面之间设置空间间隙,反深度知觉消失。这解释了部分早期研究未观察到反相关深度效应的原因(缺乏对比参考面或刷新率过低),并表明深度符号的辨别与连贯深度表面的感知可以解离。
-
心理测量函数形态随视差幅度与刷新率系统性改变(图 3b、3c)。在小视差条件(0.038°)下,行为曲线完全符合匹配计算的预测;当视差扩大至 0.488° 时,数据点向相关计算预测偏移,并在匹配率低于 50% 时表现出反深度知觉;在低刷新率(5.3 Hz、10.6 Hz)下知觉表现接近纯匹配型,而在高刷新率(21.3 Hz、42.5 Hz)下明显偏向相关型。加权平均模型仅通过调节相对权重 w 即可拟合上述形态变化,调节其他自由参数无法重现数据的几何特征(图 3d)。
-
匹配型深度知觉依赖局部相关检测与非线性转换。在全局相关恒为 0 的半匹配 hmRDS 变体中,正配对点阵(局部相关方差增加)的近远辨别正确率显著优于负配对点阵,正确率随正配对比例单调递增(图 4d);由于单眼输入无法区分上述配对差异,该效应证实匹配计算依赖于“局部视差能量相关检测 + 阈值化非线性过滤”,且非线性加工必须发生在跨视场空间池化之前。
-
神经生理记录显示出明确的皮层层级演进。在 cRDS 与 aRDS 调谐幅度比上,V1 平均值为 0.52;V4 仅约 10% 神经元保留 aRDS 敏感性,幅度比均值为 0.38;V5/MT 中约 50% 神经元保留敏感性,群体幅度比为 0.48;MST 记录到反转调谐(比值未定量测量);而在 IT 与 AIP 区域,神经元的三维曲率选择性在反相关条件下完全消失。V4 的 92 个神经元群体读出在整个梯度反相关区间单调减弱,在 aRDS 条件下完全平坦,表明群体层面已将相关信号转换为匹配信号(图 6c);初步记录显示 V5/MT 群体调谐在 0% 相关处扁平化,在 -100% 处呈现反转调谐,幅度约为 100% 相关的 40%,表现为介于相关与匹配之间的过渡特征。
-
人类 fMRI 结果与猴电生理记录总体一致但存在区域细节分歧。Bridge 与 Parker 的研究发现 V3、hV4、V5/MT 及 LO-1/LO-2 对 cRDS 楔形刺激的激活强度显著高于 aRDS,而 V1、V2、V3A 与 V7 无显著差异;Preston 等基于解码准确率的研究表明,背侧 V3A、V3B/KO、V5/hMT+、LO 及顶叶皮层对 cRDS 的分类准确率更高,而 V1、V2、V3v 与 V4 对两类刺激的解码准确率相近。作者指出,人脑与猴脑在 V4 背侧区域的解剖定位对应关系存在争议(人脑 V3B/KO 与 LO-1 可能与猴 V4d 存在部分对应),该差异可能源自定位定义而非神经计算本质的不一致。
图注解读
图 1 · 立体对应问题与三类随即点立体图
原文图注:Figure 1. The stereo correspondence problem, and three types of RDSs. To infer the three-dimensional structure of the environment, the visual system needs to match correctly the features in the images received by the left and right retinae. The process of solving this correspondence problem can be defined as finding the match globally consistent across the visual field (global match) while rejecting false matches (blue dots) that do not belong to the global solution. Contrast-matched or correlated RDSs (cRDSs) have one global match, whereas contrast-reversed or anti-correlated RDSs (aRDSs) have none. hmRDSs, in which half of the dots are contrast-reversed, provide a half-match condition. hmRDSs are as a whole uncorrelated between the two eye images, because the positive correlation of contrast-matched dots and negative correlation of contrast-reversed dots cancel each other out.
展示立体视觉的基本定义与测试刺激构造。立体对应问题定义为在全视网膜视野中寻找物理一致的真匹配并剔除错误匹配(图中蓝点所示)。图 a 为正相关 cRDS,具有唯一的全局匹配解;图 b 为半匹配 hmRDS,保留 50% 的正确对应点,但由于正相关点与负相关点的代数和抵消,双眼整体皮尔逊相关系数为 0;图 c 为反相关 aRDS,所有点的对比度极性均在单眼反转,不存在全局匹配。半匹配中全局相关为 0 但人类仍可判别深度的现象,构成了后文研究局部相关机制的重要基础。

图 2 · 梯度反相关:解离两种计算的实验工具
原文图注:Figure 2. Graded anti-correlation as a tool to dissociate binocular correlation-based and match-based computations. (a) Examples of contrast-matched, half-matched and contrast-reversed RDSs (cRDS, hmRDS, aRDS, respectively). The RDSs consist of a centre disc and a surrounding annulus. The annulus is always a cRDS. (b) We reverse the luminance contrast of a varying proportion of dots in one eye. This manipulation changes the binocular match from 100% (cRDS) through 50% (hmRDS) to 0% (aRDS), while binocular correlation changes from 100% (cRDS) through 0% (hmRDS) to −100% (aRDS). (c) Predicted psychophysical performance dissociates match-based computation from correlation-based computation. (Adapted from Doi et al. [30].)
阐述梯度反相关实验的设计逻辑。图 a 说明刺激由中央测试圆盘与外围环形参考区构成,外环恒定保持为正相关 cRDS,为测试区提供深度比较基准。图 b 给出横轴变化关系:单眼对比度反转比例由 0% 升至 100% 时,匹配度呈 100%→50%→0% 递减,双眼相关性呈 +100%→0%→-100% 线性下降。图 c 展示两种计算假设对近远选择概率的理论预测:纯相关模型预测在 50% 匹配处降至随机概率(50%),在负相关区域出现低于 50% 的判别反转;纯匹配模型预测任务表现随匹配度单调下降,仅在 0% 匹配处降至随机水平。

图 3 · 加权平均模型:权重 w 随视差大小与刷新率变化
原文图注:Figure 3. Correlation and matching computations change their contribution depending on disparity magnitude and stimulus refresh rate. (a) Schematic diagram of weighted average of correlation and match signals that transforms bivariate signal (disparity sign and binocular match level) into a binary choice (near versus far). The process consists of four stages (encoding, subtraction, weighted average, binary decision). The relative contribution of the correlation computation for depth judgement is controlled by the parameter w. ……
展示加权平均模型的数学结构与拟合结果。图 a 描绘了包含两路编码、近/远拮抗减法、加权平均(相关支路权重 w,匹配支路权重 1-w)及二值决策的四阶段流程。图 b 显示在不同视差幅度(0.038° 至 0.488°)下的人类实测数据(空心圆)与模型曲线(实线),虚线表示纯匹配(w=0)与纯相关(w=1)的极限界限;曲线形态随视差增大从纯匹配型平滑过渡到相关型。图 c 表明在固定视差下,时间刷新率从 5.3 Hz 升至 42.5 Hz 时表现出由匹配型向相关型的类似迁移。图 d 的敏感性分析表明,调整幅值或非线性渐近线均无法改变特定交点位置,唯有相对权重 w 的改变能够充分再现数据的形态分布。

图 4 · 匹配型深度知觉依赖局部相关
原文图注:Figure 4. Match-based depth perception depends on local correlation. (a) RDSs to manipulate local correlation while maintaining global correlation at zero. (i) An example RDS with negative dot pairing, in which a contrast-matched dot is paired with a contrast-reversed dot. (ii) An example RDS with positive dot pairing, in which a contrast-matched dot is vertically paired with one of the other contrast-matched dots. Pairs are made likewise between contrast-reversed dots. ……
分析半匹配刺激中视差信号的提取基础。图 a 给出两种点对构建方案:负配对(i)将对比匹配点与反转点成对呈现,正配对(ii)将同性匹配点成对呈现。图 b 示意局部单元的符号配置。图 c 模拟了局部窗口内的相关性统计方差:负配对降低局部方差,正配对扩大局部方差,但两者全局平均相关均为 0。图 d 呈现 3 名被试在不同正配对比例下的近远判别正确率:表现随正配对比例单调上升,证实匹配计算依赖于局部相关波动的非线性提取,而非单纯依赖全局相关统计。

图 5 · 编码单位的可能机制:两路通道的空间—时间配置
原文图注:Figure 5. Possible mechanism of the encoding units in the weighted average model. For the correlation-based representation, local (spatially localized) disparity-energy units receive inputs from transient temporal channel and coarse spatial receptive field (RF). The outputs of the energy units are spatio-temporally pooled without additional nonlinearity. For the match-based representation, the sustained channel and fine RF are used instead of the transient channel and coarse RF. Additional nonlinearity transforms the local disparity-energy signals into match-based representation of disparity. Nonlinear process precedes pooling of responses across visual field.
提出行为模型的神经回路机制假说。相关通路依赖瞬时时间通道与粗空间感受野,视差能量单元输出直接进行时空线性池化,不引入额外非线性操作;匹配通路依赖持续时间通道与精细空间感受野,视差能量信号先经过非线性阈值化过滤,随后在视野内进行空间汇总,从而防止正负波动在池化中抵消。该结构在功能上对应了中央凹偏好高空间频率/低刷新率、外周视野偏好高动态/粗略特征的视网膜皮层组织规律。

图 6 · V4 神经元对梯度反相关的反应
原文图注:Figure 6. Responses of V4 neurons to graded anti-correlation of RDSs. (a,b) Disparity tuning curves of two V4 neurons obtained with a set of gradually anti-correlated RDSs. Error bars indicate +s.e.m., and dashed lines indicate ongoing discharge rate. L, R and U denote response levels to monocular left, right and uncorrelated RDSs, respectively. Negative sign on x-axis denotes crossed disparity. ……
展示 V4 神经元群体的视差调谐演变。图 a 与 b 展示两个代表性 V4 单元在不同相关度(+100% 至 -100%)下的调谐曲线族:单细胞层面调谐幅度在轻度反相关时即明显衰减,其后趋向平稳。图 c 为 92 个神经元对齐后的群体平均反应:随着相关度从正向降至反相关,群体视差调谐幅度持续平滑收缩,并在 aRDS 条件下完全扁平化,表明 V4 群体输出已完成由相关信号向匹配信号的转换,与人类精细视差下的匹配型心理测量曲线相对应。

讨论
作者基于调谐幅度比的解剖递进关系对通路功能进行了归纳:V1(幅度比 0.52)介于纯能量模型与非线性修正之间;V5/MT(0.48)保留了大量相关型反应成分;V4 降至 0.38 且群体读出呈现平坦化;IT 与 AIP 则完全对反相关刺激失去调谐。该梯度支持了匹配计算在 V4 及腹侧通路后续区域实现、而相关计算在背侧 V5/MT 系统中部分保留的观点,并与电微刺激引起的粗细视差辨别偏向以及选择概率的已有记录相契合。
作者分析了当前研究的未决问题:首先,尚缺乏在同一物种内同步获取行为心理测量曲线与多脑区单神经元群体放电的直接因果证据;其次,猕猴在具备对比参考面的实验条件下是否同样表现出反深度知觉,此前未能采用类似条件的阴性研究结论需要重新评估;第三,加权模型目前尚未形式化纳入相邻参考面的空间相互作用,反深度知觉究竟反映的是测试区与参考面之间的相对深度判别,还是绝对视差的反转,在理论上与 MT 神经元主要调谐绝对视差的特性存在未解矛盾;第四,当前结论主要建立在二元近远判别任务上,对连续深度表面重建及复杂自然场景中的立体感知仍需进一步拓展。在功能适应意义上,作者指出精细匹配通路与快速相关通路的并存,兼顾了中央视觉高精度表征与外周快速动态检测的计算需求。
一句话总结
该研究表明双眼深度知觉并不完全建立在消除虚假匹配之后,而是由相关信号与匹配信号根据视差幅度与时间动态进行自适应加权平均共同决定;在神经表征上,腹侧通路 V4 逐步完成向纯匹配信号的转换,而背侧通路 V5/MT 仍保留了部分用于快速粗糙深度判别的相关信号。