B04 · Intracortical brain-computer interface for navigation in virtual reality in macaque monkeys
Saussus, O., De Schrijver, S., Garcia Ramirez, J., Decramer, T., & Janssen, P. (2026). Science Advances, 12, eadw3876. doi:10.1126/sciadv.adw3876
猕猴通过皮层内 BCI 在立体 VR 中完成导航、目标跳变与绕障等任务。解码器在一次在线实验阶段内保持固定,但每次实验仍需被动观察校准,改变任务几何或视角时可重新训练。
核对版本:Zotero VR 集合中的本地 PDF(2026-09-18);Zotero 条目 · 打开原文。图下页码均为该 PDF 的文件页序,从 1 开始,可能不同于期刊印刷页码。
背景
中心外向光标任务证明了皮层信号可以驱动简单运动,但真实导航并不只是从固定起点到达固定靶点。行进方向需要连续调整,上一段终点会成为下一段起点,目标还可能中途改变,路径上也会出现障碍。控制器若只能重复练习过的映射,就很难处理这些开放变化。虚拟现实则提供了折中环境:可以呈现立体场景、连续地形和可控制的目标事件,同时精确记录轨迹并反复改变任务条件。由此,BCI 研究的问题从“能否控制”进一步变为“能否在动态环境中灵活控制”。
这一转变也改变了对解码器泛化和校准的要求。观察自动导航所获数据可以提供初始化,但被动观察与闭环控制之间存在反馈、延迟和策略差异。一个在线阶段内保持固定映射,与永远无需重新校准不是同一回事;改变摄像机视角、三维几何或任务家族后,仍可能需要相应训练。离线重放若忽略真实视觉延迟和动物的在线适应,也可能低估闭环表现。因而,评价导航系统既要看到达率和轨迹,也要区分固定解码器、动物适应、任务难度与重新训练的各自作用。
Saussus 等联合记录 M1、PMd 和 PMv,先让猕猴被动观察导航,再测试中心外向、连续导航、三维到达、目标跳变和绕障。研究希望回答:观察初始化的皮层解码器能否支持立体 VR 中的连续控制,固定映射能否处理未在训练中出现的目标事件,以及不同脑区组合与离线—在线比较能提供什么约束。它为复杂 BCI 任务提供了动物实验示范,但健康猴的手臂约束、短时校准和虚拟环境并不等同于瘫痪患者或真实轮椅验证;不同任务的校准安排也必须保留在结论中。
研究思路
作者联合记录运动和前运动区,用被动观察数据训练解码器,再测试固定映射下的导航及目标变动任务。应区分同一控制阶段内不重训,与整个研究永不重新校准;任务几何和视角改变时的方法安排也影响解释。
方法
三只雄性恒河猴(体重 7–9 kg),固定钛合金头柱,三枚 96 通道 Utah 微电极阵列(微针长度 1 或 1.5 mm,电极间距 400 μm)植入 M1 手臂区、PMd(F2)与 PMv(F5c),术后经 3T 结构 MRI 确认解剖位点;使用 256 通道 Cerebus 系统同步采集三脑区神经电信号(PMd 有 32 个通道未连入前置放大器),经 750 Hz 高通滤波后以 30 kHz 采样,直接使用负向阈值穿越事件作为多单位放电,未进行单神经元离线分选。动物头部固定坐于灵长类实验椅中,双臂受柔性物理约束,面对刷新率为 120 Hz 的三维显示屏并佩戴液晶快门眼镜(每眼交替刷新率 60 Hz)以提供双眼视差立体深度知觉;采用 EyeLink 500(采样率 500 Hz)实时监控眼动轨迹。实验任务由 Unity 2021.3 构建,三台计算机经 ZeroMQ 协议分布式协同工作:分别负责 Unity 场景渲染、Python 实时神经解码与主控实验流程调度。每个实验会话分为三个阶段:被动注视校准阶段(时长约 7 分钟,动物被动观察沿贝塞尔曲线经 Unity NavMesh 寻路的三向自动导航运动,每方向 30 次试次)→ 解码器离线训练(耗时数秒至 1 分钟)→ 在线神经解码控制阶段。解码器基于非线性优先子空间辨识(PSID)架构:将 50 ms 分箱的多单位活动送入 PSID 提取 6 个行为关联潜变量(投影时域参数设为 5),经 Nyström 径向基核近似(700 个支撑点)映射至高维空间,通过岭回归(正则化参数 α = 0.1)解算三维运动速度,在线运行时采用递归卡尔曼滤波迭代更新状态,以 50 ms 为周期向 Unity 发送控制指令。模型训练涵盖所有具备基线放电活动的记录通道。共测试五项子任务:基础中心向外到达任务(Center-Out,受控球体在 xz 地平面内射向 5 个外周目标,视角固定,时限 5.5 s);连续导航任务(Continuous Navigation,前一试次终点即为下一试次起点,摄像机以第三人称视角动态追踪森林场景中的虚拟猕猴化身,化身随解码速度旋转并带有奔跑动画,共 5 个目标,时限 8 s);三维立体到达任务(3D Center-Out,受控球体执行 xyz 三维位移,包含 5 个地面目标与 5 个空间悬空高架目标,时限 5.5 s);目标动态跳变任务(Respawn,运动过程中目标突变跳转至相邻空间点位,共 13 种跳转组合,时限 6.5 s);路径避障任务(Obstacle,障碍物随机分布在预定路径中央或外侧,时限 6.5 s)。任务成功标准为效应器进入目标判定窗并稳定保持 500 ms。主任务每会话完成 100 次试次,附加任务完成 120 次试次。随机猜测基线通过 10000 次目标标签置换检验估算。两只猴同步采集肱二头肌与拇短展肌的表面肌电(sEMG)以排查外周肌肉微动干扰。
主要结果
三只猕猴在两个主任务上的表现从记录初期即显著优于随机猜测水平(置换检验 p < 0.0001),单会话最高成功率达到 96%。中心向外任务的跨会话平均成功率在猴 1 为 73±5%,猴 2 为 83±8%,猴 3 为 64±13%(随机水平为 20–23%);连续导航任务的成功率略低于固定视角任务(成功率降低 4–13%)。猴 1 与猴 2 此前参与过其他脑机接口实验,初始阶段成功率即在 70% 左右;未经受训的猴 3 分别经历 11 与 14 个会话达到稳定水平,在中心向外任务中表现出显著的学习提升趋势(回归斜率 β = 0.0156, p = 0.0022, R² = 0.433)。在移除化身的第一人称视角条件下,猴 3 仍维持 54±1% 的任务成功率。
三项扩展任务进一步检验了控制灵活性。在三维立体任务中,两只猴(平均成功率分别为 69±6% 与约 58%)在未经历额外渐进训练的情况下实现了对垂直轴(y 轴)的神经控制,受控效应器到达高架目标与地面目标的终点垂直坐标呈现显著分离(猴 2:p = 5.26×10⁻⁶⁰)。在目标跳变任务中,中途发生跳变后的任务完成度仍显著高于随机水平;跨实验统计显示猴 2 在跳变条件下的平均成功率为 76±9%,与平稳试次无显著差异;从目标跳变发生至运动轨迹出现转向的平均反应潜伏期在猴 2 为 661 ms,猴 3 为 1058 ms。在避障任务中,猴 2 早期在路径受阻条件下的成功率为 36%(非阻挡路径为 66%),经练习后上升至 55%;猴 3 最终达到 63%(非阻挡为 73%)。运动轨迹记录反映了个体策略分化:猴 2 倾向于双侧机动且接近障碍时才转向,猴 3 倾向于偏向单侧并在运动起始即大幅外旋绕行。
离线对比与脑区贡献分析提供了神经机制信息。在对两只动物(猴 1 与猴 3)匹配高权重通道数进行离线解码比较时,PMv 与 PMd 的重建准确率普遍优于 M1;PMv 与 PMd 的双脑区组合达到了与三脑区全通道相当的水平。解码权重分布分析显示:猴 1 的权重构成为 60% PMv、21% PMd 与 19% M1;猴 3 为 42% PMd、39% M1 与 19% PMv。此外,所有离线模拟评估(包括使用相同解码权重与离线数据流的重放测试)给出的达标率均系统性低于真实在线闭环成绩——以在线成绩为基准归一化后,离线重放模拟的相对性能仅为 0.86–0.91(中心向外)与 0.57–0.70(连续导航),该差异与实际闭环中视觉延迟及动物的主动在线神经适配有关。对照实验显示,表面肌电与解码输出速度的相关系数落在 −0.20 至 0.13 的弱相关区间,且连续导航解码基于世界全局坐标系,排除了外周肌肉收缩与单纯扫视对控制表现的直接解释。
逐图解读

来源:原文 Fig. 1,PDF 第 3 页。
图 1 · 实验任务成功率与动态环境泛化能力。 (A, B) 两项主任务的跨会话成功率滑动平均变化(窗口宽度为 3 个会话):中心向外任务(A)与连续导航任务(B),虚线标出置换检验的随机基线,实线与阴影表示均值与标准差。(C–E) 各扩展任务的灵活性分析:(C) 三维立体任务中高架目标(蓝色)与地面目标(绿色)的成功率对比,猴 2 在两种高度目标上的成功率相当(分别为 69% 与 70%);(D) 目标跳变任务中发生跳转(蓝色)与稳定未跳转(绿色)的成功率对比,两组表现未见统计学显著差异;(E) 路径避障任务中障碍物阻挡路径(蓝色)与未阻挡路径(绿色)的达标率演进。

来源:原文 Fig. 2,PDF 第 5 页。
图 2 · 脑区通道贡献与离线模拟对比。 (A, B) 中心向外任务(A)与连续导航任务(B)在猴 1 与猴 3 上的离线解码表现,对七种电极组合(单脑区 PMv、PMd、M1,双脑区组合,以及均衡三脑区 All)在匹配高权重通道数的前提下进行比较,指标归一化至全通道离线重构水平。前运动区组合(PMv+PMd)在双脑区配置中表现较高,在中心向外任务中达到与三脑区全通道相近的准确率。(C) 离线与在线闭环性能的归一化汇总:各离线配置的中位数均低于在线实际达标水平(如猴 1 在连续导航中的离线模拟仅达 0.70),反映出闭环交互中感觉运动实时适配对系统表现的重要作用。

来源:原文 Fig. 3,PDF 第 6 页。
图 3 · 扩展任务中的连续轨迹特征与在线转向。 (A) 三维任务中终点 y 轴坐标概率密度分布,高架目标(蓝色)与地面目标(绿色)在两只猴中呈现高度统计学分离(猴 2 达 p = 5.26×10⁻⁶⁰)。(B) 目标跳变任务中不同跳转条件下的转向反应潜伏期分布(平均在猴 2 为 661 ms,猴 3 为 1058 ms)。(C) 跳变任务的平均运动轨迹及标准差,显示轨迹在跳变点后发生针对性转向。(D) 避障任务中阻挡路径试次的单次运动轨迹图(红色方块指示障碍物,绿色方块指示目标):展现了绕行轨迹的平滑特征。

来源:原文 Fig. 4,PDF 第 9 页。
图 4 · 微电极阵列植入位点与实验硬件布局。 (A) 三枚 Utah 阵列在左侧半球的植入解剖位点:PMd、PMv 与 M1。(B) 闭环脑机接口实验配置:头部固定、双臂受限的动物面对 120 Hz 立体显示器,通过与屏幕同步的液晶快门眼镜获取双眼立体视差;同步采集表面肌电与眼动信号以评估非神经行为混杂。

来源:原文 Fig. 5,PDF 第 10 页。
图 5 · 五项实验任务的结构逻辑与时间线。 (A, B) 基础任务:中心向外任务的时间结构(A)与连续导航任务在三维场景中的运动示意(B,后者在前一试次终点即刻发起下一轮寻路)。(C–E) 三项扩展任务设计:包含高架立柱的三维到达任务(C)、中途目标位置跳变(D)以及不同障碍分布的避障任务(E)。障碍物与中途跳变要素在模型校准阶段从未呈现,用于检验固定解码器在未见情境下的动态自适应能力。
讨论与解读边界
本文展示的是短时校准后、相关任务家族内的灵活闭环控制。Center-Out、Obstacle 与 Respawn 可共享固定解码器;Continuous Navigation 和三维任务的校准还涉及相应几何或视角。Methods 明确允许这些条件变化时训练新解码器,因此不能写成“一个解码器从此适用于所有任务且永久无需校准”。
脑区贡献主要来自离线通道组合比较;猴 2 的可用信号仅来自 M1,不能说三只猴都使用三区联合活动。前运动区组合表现良好,不等于 M1 在导航中没有独立贡献。离线与在线的差距与闭环适应、显示延迟等因素相容,但无法单独证明其中哪种机制占主导。健康动物的手臂约束也不等于完全瘫痪,更不替代真实轮椅环境的验证。
思考问题
- 固定解码器跨日连续使用时,信号漂移会怎样影响泛化,需要多频繁的重新校准?
- 在相同通道数下做在线区域消融,PMv/PMd 的优势是否与离线比较一致?