A08 · Real-time visuomotor behavior and electrophysiology recording setup for use with humans and monkeys
de Haan, M.J., Brochier, T., Grün, S., Riehle, A., & Barthélemy, F.V. (2018). Journal of Neurophysiology, 120, 539–552. doi:10.1152/jn.00262.2017
该方法将 KINARM 与 EyeLink 整合,使眼、手和目标的位置在同一水平工作空间中记录,并通过非线性校准和漂移校正改善凝视位置重建。性能结论应分别对应人工眼、人和猴的验证条件。
核对版本:Zotero VR 集合中的本地 PDF(2026-09-18);Zotero 条目 · 打开原文。图下页码均为该 PDF 的文件页序,从 1 开始,可能不同于期刊印刷页码。
背景
研究眼手协调时,需要把眼动和手部运动置于可直接比较的时空框架中。眼动仪输出与瞳孔、角膜反光相关的电压信号,手部外骨骼记录工作空间中的物理位置。显示器、半透镜、眼球与相机之间的几何配置,使相同位移的目标在不同深度和位置对应不同的视角与电压变化。仅靠线性换算或少数校准点,往往在中央区域误差较小,但在工作区边缘会出现系统偏差;头部或支架晃动也会破坏初始校准,使慢漂移累积成位置误差。
时间对齐同样存在独立的误差来源。显示屏逐行刷新使不同垂直位置的图像出现时刻不同;设备标称采样率高,也不等于从显示到行为记录的端到端延迟短。若要在毫秒尺度上比较扫视启动、手部运动与神经活动,需要实测显示延迟、对齐标记与采集时钟。校准方案也需分层验证:相邻样本的噪声、随机目标的定位准确度、跨试次变异以及漂移后的恢复能力对应不同指标,不能用单项最佳结果代表整套系统。
de Haan 等将 KINARM、EyeLink 与电生理采集整合为实时平台,采用非线性校准和中心注视漂移校正,并通过人工眼、人类参与者和猕猴分层测试。人工眼用于控制几何位置与测量噪声,人体和动物实验用于检验实际可用性;随机目标用于测试校准点外的泛化能力,连续指向任务用于检查经典眼手时序能否重建。研究通过该流程将眼、手、目标与神经信号置于同一工作空间和时间轴上进行记录,并给出了各项性能指标的适用范围。
研究思路
该研究整合 KINARM 与 EyeLink,采用非线性校准和漂移校正。测试结合人工眼、人类参与者与猕猴进行分级验证,分别考察坐标变换、定位误差与眼手任务表现,并区分测量噪声、准确度与时间同步等不同指标。
方法
KINARM 的视觉呈现采用垂直显示屏(Benq,1920×1080,60 Hz)朝下投影,图像经半透水平镜反射至手臂运动平面。实验中可通过照明直接观察手臂,或遮挡后仅提供投影视觉反馈。屏幕刷新延迟使用两只光敏电阻标定:探针测得的亮度翻转延迟随垂直距离自上而下线性增加,最大约 15 ms(略短于 60 Hz 的一帧周期)。目标的出现与消失伴随屏幕两角 5×5 mm 参考方块的亮度翻转,其光电信号以 1 kHz 采样存入行为记录文件,便于离线精确对齐目标呈现时刻。
猴实验中,EyeLink 1000 相机安装在 VR 显示器后缘直视眼睛,避开标准的 45° 分光镜方案,以防止空间受限或动物触碰部件。光源位置通过人工眼测试选定,避免近距离目标处角膜反光斑拉长或产生次级反光点导致信号抖动。人实验采用 EyeLink II,双相机安装于显示器框架,并配备定制额托和下巴托,避免原装头盔遮挡 EEG 电极。工作区按手臂可达范围与眼动追踪可靠区域的交集划定:猴为 20×9 cm,人为 28×28 cm。实验对象包括一只 7 岁雌性恒河猴 E(6.4 kg,右臂佩戴外骨骼,左臂通过 L 形臂套固定;头部固定采用基于 MRI 数据 3D 打印的个性化面罩,未使用传统颅骨固定的头柱)、两名人类参与者(作者 FB 与一名未经训练的被试,另有 NM 参与泛化测试)。人工眼由微型摄像头(模拟瞳孔)、白色塑料盘(模拟巩膜)和两台伺服电机构成,由无线微控制器驱动并回传画面。校准采用 0.2 cm 半径目标与 25 点网格,每点重复至少三次并采集 100 ms 信号;多项式阶数根据 25 个随机位置目标的重建误差确定;空间眼球角位置按 Singh 等人的几何模型换算为以眼球中心为原点的三维参考系。行为数据保存为 C3D 格式,凝视与手位置经 D/A 卡以 1 kHz 输出至电生理系统,任务事件以 1 kHz 数字信号输出标记。
主要结果
系统验证分为四个层面。第一层为测量底噪:单次注视中相邻样本角距离的 RMS 为 0.054°(人)、0.048°(猴)和 0.0054°(人工眼),处于文献报告的眼动仪噪声范围(0.01°–1.03°)低位。由于该指标对慢漂移不敏感且未包含实际实验中的变异,研究进行了第二层验证:将猴记录的注视位置电压分布沿轴平移,构造出均值相差 0.1 个标准差的输入分布对,测试校准变换是否保持该分辨能力。结果显示,输入端存在差异的分布在变换后仍能检出显著差异(Table 1,如 X 平移时 φ 轴 t 检验 P=0.0055),输入端无差异时输出端亦未产生假差异。
第三层为工作区内的泛化验证。人工眼在与校准点重合的规则网格上,误差中位数为 0.26°、四分位距为 0.17°;在随机分布目标上分别为 0.18° 与 0.21°,两者差异不显著(P=0.5703)。随机目标测试中,猴 E 的中位数与四分位距分别为 0.23° 和 0.2°,人类被试 FB 为 0.70° 与 0.60°,未经训练的被试 NM 为 1.25° 与 0.70°,各项与规则网格条件相比均无显著差异。第四层为中心漂移校正验证:人工眼和人类被试在基线位置测试后调整头位,误差分布显著偏移(与基线相比 P<0.01);执行一次中心注视漂移校正后,误差分布与基线恢复至不可区分水平(人工眼 P=0.83,FB P=0.43,JA P=0.38)。
在实际行为测试中,实验采用连续指向任务:被试注视并用手到达中央目标、保持 250 ms 后,目标跳至周围正六边形顶点,被试需在 1000 ms 内到达并停留 50 ms,连续完成三步,注视不受限制。同一目标对重复 30 次的未滤波原始轨迹显示,扫视在目标出现约 200 ms 后启动,手部运动在扫视结束后约 100 ms 启动,符合 Prablanc 1979(人)与 Rogal 1985(猴)报告的眼手时序。以手部进入目标前 100 ms 内的凝视位置计算一致性,猴为 0.41°,人为 0.38°。
逐图解读

来源:原文 Fig. 1,PDF 第 3 页。
图 1 · 装置总览与两处物理现实。 (A) 是系统的全家福:猴子坐在外骨骼里看水平镜面上的虚拟场景,相机从显示器后缘追踪眼睛;右侧连接图分三线型——模拟(实线)、数字(虚线)、Ethernet/UDP(点线)——一眼就能看出 KINARM 实时机是所有数据流的枢纽,眼动仪和电生理系统都挂在它的输出上。(B) 是容易被忽略但很要紧的细节:两只光敏电阻测出的屏幕亮度翻转延迟随竖直距离线性增长,最大约 15 ms——60 Hz 逐行刷新意味着屏幕上目标出现的"真实时刻"取决于它的竖直位置,做 millisecond 级事件对齐时必须修正,他们的办法是在屏幕两角放参考斑。(C) 用人工眼演示光源位置的后果:光源在相机右侧或左侧,25 个目标点的电压输出大不相同,尤其近处目标(上排)的角膜反光被拉变形。这张图的潜台词是:买来的眼动仪开箱即用是幻觉,几何环境才是老大哥。

来源:原文 Fig. 2,PDF 第 4 页。
图 2 · 非线性的来源与数据流。 (A) 是全文问题的几何图解:三条横线自上而下是屏幕、半透镜、工作区;A 和 B 是深度方向上等长的两段目标位移(厘米相同),但眼睛张角 α、β 不同,相机看到的张角 α′、β′ 更不同——所以原始电压到屏幕厘米的映射注定非线性,这是校准方法存在的理由。(B) 三行数据流分别对应校准(用 25 点的电压-坐标对拟合校正函数)、漂移校正(中心注视估偏移、把信号拉回校准的有效范围)和实验(漂移校正后经校正函数输出凝视位置,与 KINARM 手位置并列)。"correction 之前是伏特、之后是厘米",这张图把三条流水线画得干干净净。

来源:原文 Fig. 3,PDF 第 6 页。
图 3 · 校准的原始材料。 (A) 25 个目标位置(灰点)与对应的眼动仪平均电压(黑点):注意电压点阵既不正交也不均匀,X 通道的幅度随 Y 位置变化,Y 通道的畸变更严重——这就是非线性写在数据上的样子。(B、C) 分别把屏幕 y 坐标和 x 坐标表示为两路电压的二维曲面,网格由双调和样条插值得到——把厘米空间里规则的采样点翻转成电压空间里的稀疏点,再补回规则网格,这是整个方法的枢纽一步。(D) 用拟合好的函数重建 25 个校准目标的凝视位置,黑点与灰点几乎重合。这张图论证的是:与其推导解析的几何变换(每个装置、每个头位都得重推),不如老老实实从数据里学一个二维多项式。

来源:原文 Fig. 4,PDF 第 7 页。
图 4 · 多项式阶数的选择。 25 个随机位置目标上,二次、三次、四次多项式各自的重建凝视位置(黑点)与目标(灰点)对比,坐标是以眼球为原点的三维参考系中的视角 (θ, φ)(插图给出 X′、Y′、Z′ 轴的定义)。三种模型的平均目标距离分别为 0.29°、0.27°、0.25°,配对 t 检验两两均无显著差异(P=0.46、0.14、0.71)——三次和四次并没有明显赚头。作者最终选四次多项式作为默认,理由是它能拟合更复杂的畸变组合;这个选择偏保守,但从误差数字看怎么选都在目标尺寸(0.2 cm)的量级之内。

来源:原文 Fig. 5,PDF 第 8 页。
图 5 · 漂移校正的前后对照。 上排(A–C)是猴装置里的人工眼,下排(D–F)是人类被试 FB,各 25 个网格目标:移动前凝视位置(黑点)与目标(灰点)贴合;人工眼的支架或被试的头一动之后(B、E),整个点阵明显跑偏、旋转——头位变化让电压信号整体位移,破坏了校准函数赖以成立的几何关系;做一次中心注视的漂移校正后(C、F),点阵回到目标上,展示了头位变化的影响及该漂移校正的作用。作者也注明他们故意没在猴身上人为晃头做这个测试——不想破坏训练中好不容易稳定下来的头位。

来源:原文 Fig. 6,PDF 第 8 页。
图 6 · 漂移校正的定量汇总。 左右两栏分别是准确度(误差中位数)和精密度(四分位距),三个参与者(人工眼、作者 FB、naive 被试 JA)× 三种条件(移动前、移动后、校正后)。图形语言很简单:每个参与者的"移动前"与"校正后"两根柱子几乎等高(Wilcoxon 检验 P=0.83、0.43、0.38),而"移动后"的柱子全面显著抬高(与前两者比均 P<0.01)。naive 被试的绝对误差整体大于作者本人,提醒校准质量里有被试因素,不是纯机器指标。

来源:原文 Fig. 7,PDF 第 10 页。
图 7 · 工作区泛化:校准点之外照样准。 四个面板都是重建凝视位置(黑点)对目标(灰点):(A) 人工眼看与校准网格重合的规则目标——0.26°/0.17°,这是"理想观察者+参考点"的性能上限;(B) 同一只人工眼看随机分布的目标,误差与 A 无显著差异(P=0.5703),说明不是插值的自欺;(C、D) 两位人类被试 FB 和 NM 看随机目标——误差比人工眼大,但与各自在规则网格下的表现无显著差异(P=0.5823、0.9),且误差椭圆没有系统性的方向偏置。猴 E 的对应数据在正文(0.23°/0.2°)。这组图回答的是审稿人必问的问题:25 个校准点学出来的多项式,能否推广到未参与校准的测试点?结果支持在所测工作区内的泛化,不能保证任意空间位置。

来源:原文 Fig. 8,PDF 第 11 页。
图 8 · 实战:真实任务中的眼-手-目标时间关系。 人 FB(上两幅)和猴 E(下两幅)在连续指向任务中对同一对目标重复 30 次的原始 trace,左列 X 方向、右列 Y 方向;蓝线眼、绿线手、粉线目标(实线中心、虚线边界)。没有任何滤波和对齐,试次间隔从几秒到几分钟,但扫视的轨迹批批贴合:目标出现后约 200 ms 扫视启动,或直达目标边缘、或小幅 undershoot 后补一个 catch-up saccade;扫视结束后约 100 ms 手启动——这正是 Prablanc 1979(人)和 Rogal 1985(猴)描述的经典眼手时序。手进入目标前 100 ms 的凝视位置一致性为猴 0.41°、人 0.38°。这些眼手轨迹为平台在实际任务中的可用性提供了验证。
讨论与解读边界
该研究整合了任务控制、行为记录、非线性校准与电生理同步接口。人工眼、人体与动物实验分别检验了不同来源的测量变异。关于多项式拟合阶数,四次多项式在测试中未表现出显著优于二次或三次模型的误差差异,选择高阶模型主要是为适应更复杂的非线性畸变,并非在统计上优于低阶模型。
在评估性能时,短时采样的 RMS 噪声反映仪器内部波动,不能等同于整个工作空间的定位准确度;随机目标的泛化测试局限于所划定的物理工作区,无法外推至未测试的空间边界之外。同时,1 kHz 的数据传输频率不代表显示到记录的端到端系统延迟为 1 ms,由于屏幕刷新存在垂直时差,在不同硬件环境部署时仍需重新测量延迟与同步参数。
思考问题
- 改变显示器或眼动仪后,哪些校准步骤必须重新完成,如何分别测量几何误差和总系统延迟?
- 扩大猴的工作区后,单次中心漂移校正还能纠正多少误差,何时需要完整重校准?