A08 · Real-time visuomotor behavior and electrophysiology recording setup for use with humans and monkeys
de Haan, M.J., Brochier, T., Grün, S., Riehle, A., & Barthélemy, F.V. (2018). Journal of Neurophysiology, 120, 539–552. doi:10.1152/jn.00262.2017
该方法将 KINARM 与 EyeLink 整合,使眼、手和目标的位置在同一水平工作空间中记录,并通过非线性校准和漂移校正改善凝视位置重建。性能结论应分别对应人工眼、人和猴的验证条件。
核对版本:Zotero VR 集合中的本地 PDF(2026-09-18);Zotero 条目 · 打开原文。图下页码均为该 PDF 的文件页序,从 1 开始,可能不同于期刊印刷页码。
背景
研究眼手协调需要把眼位和手位转换到可比较的空间坐标,同时处理屏幕几何、头位和校准漂移。仅提高采样率不能解决这些几何误差。
研究思路
研究整合KINARM与EyeLink,使用非线性校准及漂移修正。人工眼、人类参与者和猕猴提供分层验证,分别检查坐标变换、误差与眼手任务表现;精度、准确度和时间同步需分开理解。
方法
KINARM 的视觉呈现是经典的设计:竖直屏幕(Benq,1920×1080,60 Hz)朝下,图像经半透水平镜反射,落在手臂运动平面里,手可以直接照亮看到真手,也可以遮挡后只给投影的视觉反馈。屏幕刷新延迟用两只光敏电阻标定:亮度翻转的探针延迟随竖直距离自上而下线性增加,最大约 15 ms——比 60 Hz 一帧略短;实验中目标的出现和消失伴随屏幕两角 5×5 mm 参考斑的亮度翻转,其信号以 1 kHz 采样存入行为文件,目标精确时刻可离线重建。
猴装置里 EyeLink 1000 的相机装在 VR 显示器后缘直拍(放弃标准的 45° "hot mirror" 方案,因为空间受限且猴子可能碰到镜子和相机);光源位置经过人工眼测试筛选——放错位置时近距离目标的角膜反光斑会拉成线甚至出现第二反光点,信号抖动。人装置用 EyeLink II,双相机直接装在显示器框架上加定制额托下巴托(原装头盔会挡住 EEG 通道)。工作区是可达空间与眼动追踪可靠区域的交集:猴 20×9 cm,人 28×28 cm。被试方面:一只 7 岁雌性恒河猴 E(6.4 kg),右臂进外骨骼、左臂用 L 形臂套固定;头部固定不用头柱,而是从 MRI 数据 3D 打印头模、真空成型的个性化面罩——这是本文另一个对动物福利有实际意义的决定。人类被试两名(作者 FB 与一名 naive 被试,另有 NM 参与泛化测试)。人工眼由充当瞳孔的微摄像头、充当巩膜的白色塑料盘和两台伺服电机构成,无线微控制器驱动并回传第一视角画面。校准用 0.2 cm 半径目标、25 点网格、每点至少重复三次、每点取 100 ms 信号;多项式阶数通过 25 个随机位置目标的重建误差比较选定;眼在空间的角位置用 Singh 等人的几何方法换算成以眼球中心为原点的三维参考系。行为数据以 C3D 格式存储,凝视与手位置经 D/A 卡以 1 kHz 同步输出给电生理系统,任务事件以 1 kHz 数字信号输出作时间标记。
主要结果
作为方法论文,"结果"就是层层验证。第一层是噪声底:单次注视中相邻样本角距离的 RMS(Holmqvist 的 industry standard 指标)为 0.054°(人)、0.048°(猴)、0.0054°(人工眼),与文献报告的眼动仪范围(0.01°–1.03°)相比处于最好的一档。但作者清醒地指出这个指标对慢漂移不敏感、也低估真实实验的变异,于是设计了第二层:把猴记录到的注视位置电压分布沿轴平移,构造出"刚好可分辨"与"刚好不可分辨"(均值为十分之一个标准差之差)的输入分布对,看校准变换是否保持这种可分辨性——结论是输入端有差异的分布输出端仍显著(Table 1,如 X 平移时 φ 轴 t 检验 P=0.0055),输入端无差异的输出端也不产生假差异。变换不放大噪声、不制造假信号,这是对校准方法最要紧的背书。
第三层是工作区泛化。人工眼在规则网格(与校准点重合)上精度(中位误差)0.26°、精密度(四分位距)0.17°,在随机分布的目标上 0.18°/0.21°,两者无显著差异(P=0.5703)——校准不是只在参考点上插值好看。真人真猴的随机目标测试:猴 E 达 0.23°/0.2°,被试 FB 0.70°/0.60°,naive 被试 NM 1.25°/0.70°,各自与网格条件无显著差异。第四层是 drift correction 的三段验证:人工眼或人被试先在基线位置测一轮,移动之后误差整体跑偏(与基线相比 P<0.01),做一次中心注视的漂移校正后,误差分布与基线不再可区分(人工眼 P=0.83,FB P=0.43,JA P=0.38)——一次中心注视就挽救了整套校准。
最后的实战检验是连续指向任务:注视中央目标并以手到达、保持 250 ms 后,目标跳到以起始位置为中心的正六边形的一个顶点,1000 ms 内到达、停留 50 ms,如此连续三步,眼完全不受约束。图 8 展示同一对目标重复 30 次的原始 trace(无滤波、无对齐,试次间隔从数秒到数分钟),眼手先后顺序与经典描述一致:扫视在目标出现约 200 ms 后启动,手在扫视结束后约 100 ms 启动(Prablanc 1979,人;Rogal 1985,猴)。以手进入目标前 100 ms 的凝视位置算一致性,猴 0.41°、人 0.38°——装置给出的数据经得起与四十年前经典文献的直接对表。
逐图解读

来源:原文 Fig. 1,PDF 第 3 页。
图 1 · 装置总览与两处物理现实。 (A) 是系统的全家福:猴子坐在外骨骼里看水平镜面上的虚拟场景,相机从显示器后缘追踪眼睛;右侧连接图分三线型——模拟(实线)、数字(虚线)、Ethernet/UDP(点线)——一眼就能看出 KINARM 实时机是所有数据流的枢纽,眼动仪和电生理系统都挂在它的输出上。(B) 是容易被忽略但很要紧的细节:两只光敏电阻测出的屏幕亮度翻转延迟随竖直距离线性增长,最大约 15 ms——60 Hz 逐行刷新意味着屏幕上目标出现的"真实时刻"取决于它的竖直位置,做 millisecond 级事件对齐时必须修正,他们的办法是在屏幕两角放参考斑。(C) 用人工眼演示光源位置的后果:光源在相机右侧或左侧,25 个目标点的电压输出大不相同,尤其近处目标(上排)的角膜反光被拉变形。这张图的潜台词是:买来的眼动仪开箱即用是幻觉,几何环境才是老大哥。

来源:原文 Fig. 2,PDF 第 4 页。
图 2 · 非线性的来源与数据流。 (A) 是全文问题的几何图解:三条横线自上而下是屏幕、半透镜、工作区;A 和 B 是深度方向上等长的两段目标位移(厘米相同),但眼睛张角 α、β 不同,相机看到的张角 α′、β′ 更不同——所以原始电压到屏幕厘米的映射注定非线性,这是校准方法存在的理由。(B) 三行数据流分别对应校准(用 25 点的电压-坐标对拟合校正函数)、漂移校正(中心注视估偏移、把信号拉回校准的有效范围)和实验(漂移校正后经校正函数输出凝视位置,与 KINARM 手位置并列)。"correction 之前是伏特、之后是厘米",这张图把三条流水线画得干干净净。

来源:原文 Fig. 3,PDF 第 6 页。
图 3 · 校准的原始材料。 (A) 25 个目标位置(灰点)与对应的眼动仪平均电压(黑点):注意电压点阵既不正交也不均匀,X 通道的幅度随 Y 位置变化,Y 通道的畸变更严重——这就是非线性写在数据上的样子。(B、C) 分别把屏幕 y 坐标和 x 坐标表示为两路电压的二维曲面,网格由双调和样条插值得到——把厘米空间里规则的采样点翻转成电压空间里的稀疏点,再补回规则网格,这是整个方法的枢纽一步。(D) 用拟合好的函数重建 25 个校准目标的凝视位置,黑点与灰点几乎重合。这张图论证的是:与其推导解析的几何变换(每个装置、每个头位都得重推),不如老老实实从数据里学一个二维多项式。

来源:原文 Fig. 4,PDF 第 7 页。
图 4 · 多项式阶数的选择。 25 个随机位置目标上,二次、三次、四次多项式各自的重建凝视位置(黑点)与目标(灰点)对比,坐标是以眼球为原点的三维参考系中的视角 (θ, φ)(插图给出 X′、Y′、Z′ 轴的定义)。三种模型的平均目标距离分别为 0.29°、0.27°、0.25°,配对 t 检验两两均无显著差异(P=0.46、0.14、0.71)——三次和四次并没有明显赚头。作者最终选四次多项式作为默认,理由是它能拟合更复杂的畸变组合;这个选择偏保守,但从误差数字看怎么选都在目标尺寸(0.2 cm)的量级之内。

来源:原文 Fig. 5,PDF 第 8 页。
图 5 · 漂移校正的前后对照。 上排(A–C)是猴装置里的人工眼,下排(D–F)是人类被试 FB,各 25 个网格目标:移动前凝视位置(黑点)与目标(灰点)贴合;人工眼的支架或被试的头一动之后(B、E),整个点阵明显跑偏、旋转——头位变化让电压信号整体位移,破坏了校准函数赖以成立的几何关系;做一次中心注视的漂移校正后(C、F),点阵回到目标上,展示了头位变化的影响及该漂移校正的作用。作者也注明他们故意没在猴身上人为晃头做这个测试——不想破坏训练中好不容易稳定下来的头位。

来源:原文 Fig. 6,PDF 第 8 页。
图 6 · 漂移校正的定量汇总。 左右两栏分别是准确度(误差中位数)和精密度(四分位距),三个参与者(人工眼、作者 FB、naive 被试 JA)× 三种条件(移动前、移动后、校正后)。图形语言很简单:每个参与者的"移动前"与"校正后"两根柱子几乎等高(Wilcoxon 检验 P=0.83、0.43、0.38),而"移动后"的柱子全面显著抬高(与前两者比均 P<0.01)。naive 被试的绝对误差整体大于作者本人,提醒校准质量里有被试因素,不是纯机器指标。

来源:原文 Fig. 7,PDF 第 10 页。
图 7 · 工作区泛化:校准点之外照样准。 四个面板都是重建凝视位置(黑点)对目标(灰点):(A) 人工眼看与校准网格重合的规则目标——0.26°/0.17°,这是"理想观察者+参考点"的性能上限;(B) 同一只人工眼看随机分布的目标,误差与 A 无显著差异(P=0.5703),说明不是插值的自欺;(C、D) 两位人类被试 FB 和 NM 看随机目标——误差比人工眼大,但与各自在规则网格下的表现无显著差异(P=0.5823、0.9),且误差椭圆没有系统性的方向偏置。猴 E 的对应数据在正文(0.23°/0.2°)。这组图回答的是审稿人必问的问题:25 个校准点学出来的多项式,能否推广到未参与校准的测试点?结果支持在所测工作区内的泛化,不能保证任意空间位置。

来源:原文 Fig. 8,PDF 第 11 页。
图 8 · 实战:真实任务中的眼-手-目标时间关系。 人 FB(上两幅)和猴 E(下两幅)在连续指向任务中对同一对目标重复 30 次的原始 trace,左列 X 方向、右列 Y 方向;蓝线眼、绿线手、粉线目标(实线中心、虚线边界)。没有任何滤波和对齐,试次间隔从几秒到几分钟,但扫视的轨迹批批贴合:目标出现后约 200 ms 扫视启动,或直达目标边缘、或小幅 undershoot 后补一个 catch-up saccade;扫视结束后约 100 ms 手启动——这正是 Prablanc 1979(人)和 Rogal 1985(猴)描述的经典眼手时序。手进入目标前 100 ms 的凝视位置一致性为猴 0.41°、人 0.38°。这些眼手轨迹为平台在实际任务中的可用性提供了验证。
讨论与解读边界
这篇方法论文的价值在于把任务控制、行为记录、校准和外部采集接口整合为可复用的流程。人工眼、人体和猴实验分别检验不同误差来源。图 4 比较二、三、四次多项式,作者采用四次模型,但模型间误差差异未达显著;这不是“四次模型已经被证明最优”。
准确度、跨试次位置误差的离散度与相邻采样的 RMS 精密度是不同指标,不能把极小的短时噪声当作整个空间的定位精度。随机目标验证覆盖的是所测工作区,不能保证边缘以外的外推。1 kHz 采样也不等于从显示到行为记录的总延迟为 1 ms。原文报告屏幕不同位置间的刷新时差,部署到新系统时仍需重新测量端到端延迟与时钟同步。
思考问题
- 改变显示器或眼动仪后,哪些校准步骤必须重新完成,如何分别测量几何误差和总系统延迟?
- 扩大猴的工作区后,单次中心漂移校正还能纠正多少误差,何时需要完整重校准?