字号
主题
主题色
字体
文献集总览 / 猕猴上肢运动、学习与虚拟反馈 / E · 理论综述、行为平台与公开数据 / E06 · 猴行为控制与采集系统重写

E06 · NIMH MonkeyLogic: Behavioral control and data acquisition in MATLAB

Hwang, J., Mitz, A.R., & Murray, E.A. (2019). Journal of Neuroscience Methods, 323, 13–21. doi:10.1016/j.jneumeth.2019.05.002

NIMH MonkeyLogic重写了行为控制、数据采集与图形模块,提出按视频帧组织的scene framework。指定硬件上的基准测试显示延迟和吞吐改善,但时间戳分辨率、采样间隔和闭环反应延迟仍是不同指标。

核对版本:Zotero VR 集合中的本地 PDF(2026-09-18);Zotero 条目 · 打开原文。图下页码均为该 PDF 的文件页序,从 1 开始,可能不同于期刊印刷页码。

本文目录
  1. 背景
  2. 研究思路
  3. 方法
  4. 主要结果
  5. 逐图解读
  6. 讨论与解读边界
  7. 思考问题

背景

行为神经科学实验系统需要协调多重并发任务:在以高刷新率精准呈现视觉刺激的同时,需连续采集眼动、肢体操作及外周传感器信号,根据动物的实时行为动态更新任务逻辑,并为电生理系统提供微秒级的时间对齐标记。早期版本的 MonkeyLogic(ML1)将视觉呈现与行为轮询设计在相互独立的阻塞式函数中,导致在行为追踪期间难以平滑修改复杂刺激;而传统数据采集驱动的底层缓冲机制,也使得实时在线监控不得不滞后等待较早批次的样本传输。若软件架构无法兼顾刺激渲染与行为反馈的实时性,实验人员往往需要配置多块数据采集卡、简化实验视觉范式,或者接受刺激呈现与行为记录之间存在难以消除的时延与抖动。

对系统实时性能的评估需要区分不同的指标维度。时间戳分辨率决定系统能够在多小的时间颗粒度上记录事件,硬件轮询周期决定输入信号多频繁被检查,而端到端的闭环响应延迟则涵盖从外周行为发生、样本采集解析、图形缓冲区重绘到屏幕物理像素发光的完整软硬件链路。通过硬件回环测试可以测量数字标记输出至物理采集的延迟,通过光电二极管能精确标定屏幕像素亮度翻转相对于系统事件的时间偏差,而任务加载、图形重绘与文件写入测试则用于衡量系统吞吐能力。即便软件能在事件发生时记录下精确的时间戳,刺激的物理呈现仍需等待下一个显示器垂直同步刷新周期;即便软件轮询能达到约 1 ms,也无法突破外置眼动仪本身的硬件物理采样率,亦不代表系统具备工业级硬实时内核。

Hwang 等据此对 NIMH MonkeyLogic(ML2)进行了架构重构,提出以显示设备垂直刷新帧为节拍、统一调度“分析—绘制—呈现”的 scene framework,并重写了数据采集与图形渲染底层。研究在特定配置的 Windows 计算机、显示设备及国家仪器(NI)采集卡上对比了新旧版本,系统评估了单采集卡同时支持后台持续记录与低延迟在线监控的可行性、基于行为驱动的复杂刺激逐帧渲染表现,以及系统的事件标记精度与吞吐极限。测试结果展现了新架构的工程实用性,但所有性能测试数值均依赖于特定的软硬件测试环境。不依赖商业 MATLAB 工具箱并不等同于脱离 MATLAB 运行环境;测试中出现的“负延迟”仅代表刺激物理到达时刻相对于事件标记发出时刻的相对先后顺序,并不代表物理信号的超前传输。

研究思路

研究通过编写自定义数据采集与图形渲染底层,结合基于视频帧节拍的 scene framework 架构,在特定软硬件工作站上与旧版系统进行基准对比。通过数字信号硬件回环与外置光电二极管测量精确标定事件同步时序,并通过范式初始化与动态绘图测试量化系统吞吐性能。

方法

测试平台配置为标准工作站:Dell OptiPlex 7050,搭载 Intel Core i5-7600 处理器(3.50 GHz)、16 GB 内存、1 TB 固态硬盘,运行 64 位 Windows 10 系统,配备 AMD Radeon R5 430 独立显卡。实验动物观察屏为 17 英寸 CRT 显示器(分辨率 1024×768,刷新率 75 Hz),主试监控屏为 32 英寸 LCD 显示器(3840×2160,60 Hz)。性能对比在同台机器上运行两个版本:ML1 运行于其支持的最终 MATLAB 版本(R2014a 32 位),依赖 MATLAB 官方 Data Acquisition Toolbox、Image Processing Toolbox 及两块 NI PCIe-6323 多功能采集卡;ML2(2018 年 6 月构建版 build 139)无需额外商业工具箱(但仍依托 MATLAB 基础环境运行),仅使用一块 PCIe-6323 采集卡,并额外测试了基于 USB 总线的 USB-6008 采集卡以对比总线特性。眼动追踪信号来源于采样率为 220 Hz 的 Arrington ViewPoint 眼动仪,事件标记通过 NI 卡的 16 位数字输出端口发送,屏幕右上角贴附光电二极管用于标定视觉呈现起始时刻,任务进程自动设置为 Windows 高优先级。基准测试任务为注视随机点运动范式:1 s 注视后呈现持续 1 s 的相干随机点运动(相干度 25% 或 40%,运动方向 0° 或 180°),随后出现双选目标,动物注视选择并触发外部电磁阀供水奖励。时序延迟测量方法:事件标记延迟通过将数字输出端口硬连线回环至同一采集卡的模拟输入端口进行测量;刺激呈现物理延迟通过将事件标记信号与终端设备(光电二极管、扬声器输出、模拟输出通道)的物理波形同时接入另一台工作站,以 40 kHz 采样率进行高精度并行动态记录。

主要结果

系统重构的核心特征之一在于统一了任务控制脚本模型。在 ML1 中,视觉刺激控制(toggleobject())与行为监控(eyejoytrack())被分割在独立的函数调用中,在行为检测期间无法动态更改视觉画面,且检测循环依赖毫秒级轮询占用 CPU,无法同时执行复杂的图形与逻辑计算。ML2 推出的 scene framework 将两者整合入统一的 run_scene() 执行循环:系统以显示器垂直刷新周期为固定节拍,在每帧起始统一分析上一帧内累积采集的所有行为样本(以 60 Hz 刷新、1 kHz 采样计算,每帧约处理 16–17 个样本),并在下一垂直刷新同步信号到来前完成后台缓冲区的计算与重绘,实现“分析—绘制—呈现”的逐帧管线化运转。任务逻辑由多个 adapter 对象串联构成,发布版本内置 40 余种标准 adapter,支持根据基类模板进行拓展。

第二项改进为自主开发的 NIMH DAQ Toolbox。MATLAB 原生 DAQ 工具箱在后台数据记录模式下,通常每隔约 15 ms 才向应用程序交付一次数据缓冲,导致等效的实时监视刷新率仅约 67 Hz,迫使 ML1 必须配置双采集卡(一块用于连续存储,另一块用于单点直读监控);NIMH DAQ Toolbox 通过构建多线程弹性环形缓冲区,使应用层在保持高通量连续记录的同时,能够以 1 kHz 以上的频率随时读取最新采集到的行为样本,在 32 个模拟输入通道并发工作下满足 1 ms 的样本交付要求。针对 USB-6008 采集卡的测试显示,其在原生 DAQ 工具箱下的连续采集频率上限仅为 360–380 Hz,而在 NIMH DAQ Toolbox 下能稳定以 1.8–2.2 kHz 获取独立采样点,使基于便携式笔记本与 USB 接口的小型化实验系统成为可能。对于未接入专用采集卡的外设(如触摸屏、USB 游戏摇杆、TCP/IP 网络眼动仪),系统采用 Windows 高精度软件定时器进行轮询采集,实测轮询间隔为 0.99±0.22 ms。

在时间标定精度方面,Windows QueryPerformanceCounter 在 3.5 GHz 硬件平台上的理论计时分辨率为 0.29 μs,系统计时误差维持在 20 μs 以内。数字事件标记从执行软件指令到端口电压实际发生翻转的延迟中位数,由 ML1 的 0.81 ms 缩短至 ML2 的 0.18 ms;模拟波形输出与视觉呈现相对于数字事件标记的延迟中位数分别为 −0.05 ms 与 −0.03 ms(负值说明模拟及光电信号在物理连线上略微早于数字标记完全建立电平,两者同步时差处于亚毫秒尺度)。音频输出方面,板载集成声卡的物理延迟为 39.92 ms(外置 USB 声卡为 40.98 ms),相较于 ML1 的 323.13 ms 与 326.23 ms 降低近一个数量级,处于视听多感官整合的知觉融合时间窗范围。系统执行效率测试表明:试次间隙(初始化与数据写盘)耗时累计约 22 ms,相较 ML1 的约 199 ms 缩短近 9 倍;从磁盘实时读取随机点视频的试次间歇期由 ML1 的 1895.38 ms 降至 159.65 ms;若在循环中预加载至内存,间歇期可压缩至 66.26 ms,而使用 RandomDotMotion adapter 逐帧在线矢量计算生成也仅需 92.47 ms 的准备时间。

逐图解读

图1

来源:原文 Fig. 1,PDF 第 14 页。

图 1 · 旧脚本模型与 scene framework 的时序对比。 理解 ML2 设计动机的一张图。A 面板是 ML1 的串行世界:注视点由 toggleobject() 开关,眼动行为由 eyejoytrack() 每毫秒查一次;eyejoytrack() 检测到注视后立刻结束,但注视点可能要拖到下一帧结束才熄灭——刺激控制和行为追踪互相卡脖子。B 面板是 scene framework:run_scene() 把两件事并行塞进每个帧周期,上一帧采集的全部样本在下一帧开头统一分析,后台缓冲画好后按时呈现。代价是事件的发生可能要等下一帧才被"知道",但正文强调事件发生的时刻仍可在线精确算出——用帧节拍换并行能力,同时不牺牲时间戳精度,这是该框架最关键的承诺。

图2

来源:原文 Fig. 2,PDF 第 15 页。

图 2 · Scene framework 示范:Fixation Timer 任务。 一个可直接运行的教学例子,演示新框架到底解锁了什么。A 是猴子看到的画面:7 个环形计数器从右往左每秒点亮一格,但只在注视中央白方块时才走字,注视丢失后 4 s 内重新抓住还能续上——这种"刺激随行为实时变化"的东西在 ML1 的脚本结构里写起来非常别扭。B 是任务脚本:三个 adapter(EyeTracker、SingleTarget、TimerDemo)串成链,每个都可以通过属性单独调参,整条链由 create_scene() 和 run_scene() 执行。C 画的是运行循环:每个 adapter 有 analyze() 和 draw() 两个成员函数,从顶层 adapter 开始迭代调用整条链,直到顶层 analyze() 返回 false。读这张图的要点是模块化分工——底层 adapter 从 DAQ 取眼动样本,中层判注视,上层计秒,复杂任务就这样一层层搭出来。

图3

来源:原文 Fig. 3,PDF 第 16 页。

图 3 · 采样性能对决:MATLAB DAQ vs NIMH DAQ Toolbox。 用于评估采集性能的图,输入是 20 Hz 正弦波、采样率 1 kHz。A 面板里 MATLAB DAQ 由于样本转移延迟,logging 模式下实际只能以约 67 Hz 检查新样本,20 Hz 信号被混叠出低频假象;B 面板 NIMH DAQ Toolbox 随要随取,正弦波完好;C 面板给出机理——NIMH DAQ 的可用样本数每毫秒加一,MATLAB DAQ 是每 15 ms 一次性加十五。D 面板把"查询当前输入状态"的开销画成通道数的函数,说明多通道下依然负担得起。这张图论证的正是 ML2 敢于砍掉第二块 DAQ 卡的底气:单卡 logging 模式就能同时喂饱数据记录和实时行为监视。

图4

来源:原文 Fig. 4,PDF 第 17 页。

图 4 · Windows 软件定时器的采样间隔分布。 ML2 有相当一部分输入设备根本不经过 DAQ 卡——触摸屏、USB 摇杆、TCP/IP 眼动仪——只能靠操作系统的软件定时器按 1 ms 间隔轮询。这张直方图(100 次采集、0.1 ms 分箱)用于评估这一实现:间隔分布紧紧围绕 1 ms(0.99±0.22 ms),尾部虽受系统负载影响偶尔拖长,但是否满足具体闭环任务,还需验证完整设备链路和负载下的延迟。它和图 3 是一对:图3检验DAQ采集与应用读取性能,图 4 管卡外设备的软实时,两张图分别展示硬件采集和软件轮询的测试,不能替代每类设备的端到端验证。

图5

来源:原文 Fig. 5,PDF 第 18 页。

图 5 · ML2 的双屏监控界面。 A 是猴子看到的屏幕,B 是主试屏幕。MGL 把刺激按比例复制到两块屏上并行渲染,但只把注视窗、眼动轨迹、按键状态、用户文本这些监控信息叠加在主试屏;两屏渲染在现代显卡上只花几毫秒,且只有被试屏的呈现与刷新率严格同步,文中测试显示双屏渲染可在所用配置下完成,实际任务仍需检查漏帧。图上还能看到透明色的用法——多个带透明背景的对象可以叠在同一位置而不互相遮挡,配合任意形状多边形和从 AVI/MPG 文件或 MATLAB 矩阵直接生成的流式电影,构成 ML2 在刺激种类上的扩展。这张图本身谈不上"科学",但做过实验的人都懂,一块信息量大的主试屏在日常操作里值多少钱。

讨论与解读边界

该研究系统阐述了实验控制软件的架构演进,并通过物理硬件回环测试、高速光电传感及外部高频采集卡对多模态信号时序进行了标定。scene framework 通过将行为分析与帧节拍绑定,保留了事件发生物理时刻的时间戳信息,但系统采取相应动作的最快反馈仍受限于下一帧的显示刷新;事件的精确时间记录不等于瞬时物理响应。

各项性能评测数据直接对应于 2018 年的软件版本、特定的 Windows 操作系统与给定的测试硬件,无法作为不同硬件配置环境下的绝对性能担保。无需商业工具箱不等于脱离 MATLAB 独立运行。视觉与模拟通道的负延迟仅反映物理信号与数字端口电平建立之间的微小时序偏差,并非超前因果传递。软件层面的高频轮询无法提高 220 Hz 眼动仪自身的硬件物理刷新上限,亦不能等同于硬实时操作系统的中断确定性。不同实验范式对音频延迟的容忍度不同,在具体部署时需根据任务需求进行现场时序测量。

思考问题

  1. 从眼动或手部事件发生到屏幕实际变化,端到端延迟分布及最坏情况是多少?
  2. 在同时记录多通道、绘制复杂VR场景和写盘时,漏帧与事件标记误差会怎样改变?
返回总纲