连续低频脑电图解码手臂运动，实现机械手臂的闭环自然控制

导读

自主运动的连续解码对于神经假体的闭环、自然控制是可取的。最近的研究表明&＃xff0c;可以从低频(LF)脑电图(EEG)信号重建手的运动轨迹。到目前为止&＃xff0c;这只在脱机状态下执行。在这里&＃xff0c;奥地利格拉茨技术大学(GrazUniversity of Technology)和意大利博洛尼亚大学(Universityof Bologna)的研究团队首次尝试用基于LF-EEG(低频脑电图)的解码动作对机器人手臂进行连续在线控制。该研究涉及10名健康的参与者&＃xff0c;要求他们通过控制机械臂来跟踪移动的目标。在实验开始时&＃xff0c;机器人完全由参与者的手轨迹控制。译码模型校准后&＃xff0c;逐渐由基于LF-EEG的解码轨迹取代该控制&＃xff0c;首先为33%、66%&＃xff0c;最后为100%的EEG控制。与其他离线研究类似&＃xff0c;研究人员用偏最小二乘(PLS)回归从脑电图回归运动参数(二维位置、速度和加速度)。为了整合来自不同运动参数的信息&＃xff0c;他们引入了组合PLS和卡尔曼滤波方法(命名为PLSKF)。研究结果&＃xff1a;研究人员获得了手部运动学和PLSKF解码轨迹之间的平均0.32个中等但总体显著的在线相关性。参与者最终报告说&＃xff0c;即使在100%的脑电图状态下&＃xff0c;他们也感到有足够的控制能力&＃xff0c;能够通过训练得到改善。

实验设置

研究人员首先设计了相应的实验&＃xff1a;

如上图&＃xff0c;参与者坐在舒适的椅子上&＃xff0c;椅子距离倾斜的屏幕约1 m。参与者的右臂由平板支撑。右手的位置由安装在板上约20 cm的LeapMotion控制器记录。在实验过程中&＃xff0c;屏幕显示了一个运动物体--蛇。参与者的目标是控制机械臂&＃xff0c;以便跟踪蛇。机械臂的控制信号是手运动学&＃xff08;由LeapMotion记录&＃xff09;和基于EEG的解码轨迹的混合。在实验过程中&＃xff0c;这两种成分的比例一直在变化。

如上图(b)&＃xff0c;每次试验开始时都有一段休息时间&＃xff0c;在此期间显示黄色十字&＃xff0c;机械臂保持静止&＃xff0c;参与者控制光标。当一个参与者想要开始一个新的试验时&＃xff0c;他/她必须将光标移到十字架的中心&＃xff0c;并保持静止1 s(基线)。然后在屏幕上显示运动轨迹(即蛇)&＃xff0c;标志着跟踪周期的开始&＃xff0c;该跟踪周期持续23 s。

实验在概念上分为两部分&＃xff0c;对应于EEG解码器的校准和在线反馈操作。主要的实验范式是在蛇跑中实现的&＃xff0c;其实验结构如(b)所示。添加了两个眼动以记录眨眼和眼动。在线操作期间&＃xff0c;基于脑电图的解码轨迹的比例每两个蛇行逐渐增加&＃xff0c;首先是33&＃xff05;&＃xff0c;66&＃xff05;&＃xff0c;最后达到100&＃xff05;脑电图控制的最终条件&＃xff0c;如上图(c)所示。

数据采集和处理

通过实验室流传输层协议(https://github.com/sccn/labstreaminglayer)记录和同步数据。使用自定义的Matlab脚本和Psychotoolbox进行了视觉刺激的演示&＃xff0c;数据的在线处理和可视化。光电二极管用于离线同步。离线分析是在Matlab和EEGLAB中进行的。

Stand-alone online viewers

BrainVision LSL Viewer

MATLABViewer (part of LSL distribution)

StreamViewer

(available from SCCN ftp as part of the mobi_utils package:

ftp://sccn.ucsd.edu/pub/software/LSL/Mobi_Utils/mobi_utils_1_1_10/)

在线和离线处理管道

在该研究中&＃xff0c;研究人员对脑电信号数据处理分为两个阶段&＃xff0c;如下图&＃xff1a;

脑电图分为两个阶段(如上图)&＃xff1a;

在第一个滤波阶段(0.18 Hz高通&＃43;抗混叠低通滤波器)之后&＃xff0c;将脑电图下采样至100 Hz&＃xff0c;对不良通道进行插值&＃xff0c;减弱眼神像(GEYESUB算法)&＃xff0c;信号被重新参考到共同的平均参考(CAR)&＃xff0c;并缓慢漂移/occasionalpops interpolated (HEAR算法)。

在第二个滤波阶段(1.5 Hz低通)之后&＃xff0c;脑电图被下采样至20Hz&＃xff0c;缓冲300 ms并解码(PLSKF方法)。同时&＃xff0c;用LeapMotion记录的运动轨迹进行4 Hz低通滤波&＃xff0c;延时(带环形缓冲)与脑电图同步&＃xff0c;并下采样至20 Hz。同步后&＃xff0c;将手运动学和基于EEG的解码轨迹混合到唯一的控制信号中&＃xff0c;进行转换&＃xff0c;使其能够滑动到倾斜的屏幕上&＃xff0c;并反馈给机械臂。

研究人员比较了两种方法&＃xff1a;PLSKF在线&＃xff0c;或仅tPLS&＃xff0c;离线模拟的效果&＃xff0c;如下图&＃xff0c;显示了手运动学与基于EEG的解码轨迹之间的相关性分析结果。该图显示了每个运动参数&＃xff08;位置&＃xff0c;速度和加速度&＃xff09;和状态&＃xff08;0&＃xff05;&＃xff0c;33&＃xff05;&＃xff0c;分别控制66&＃xff05;和100&＃xff05;的EEG&＃xff09;和两种方法&＃xff08;在线使用PLSKF&＃xff0c;单独使用PLS&＃xff0c;离线模拟&＃xff09;。还针对每种情况和方法显示了机会水平分布的上限相关性&＃xff08;机会&＃xff0c;显着性α&＃61; 0.05&＃xff09;。在每个条形图中&＃xff0c;较大的中心点代表分布的中位数&＃xff0c;晶须延伸到25&＃xff05;和75&＃xff05;&＃xff0c;而小点代表参与者。

两种方法间差异有统计学意义(经多次比较校正后的值为0.05)&＃xff0c;用星形*标记。水平的虚线条最终显示了每一种方法在参与者之间的中值概率值。

研究人员还对解码和运动幅度进行了定性评估。

 对于33&＃xff05;脑电图情况中的一名参与者&＃xff0c;单独使用PLS模型或结合卡尔曼滤波对样本解码的轨迹&＃xff08;位置&＃xff09;进行采样&＃xff0c;如下图(a)。该图显示了运行中多个试验的跟踪部分的连接。实验过程中手部运动学和基于脑电图解码轨迹的振幅&＃xff0c;x和y方向。阴影区间表示参与者的平均值±标准差(SD)幅度(如图b)。

下图是来源分析。 其中(a)用户定义的兴趣区(ROI)的位置。(b)对于水平(左)和垂直(右)尺寸&＃xff0c;位置(上面板)&＃xff0c;速度(中间面板)和加速度(下面板)&＃xff0c;滞后0的总体平均解码器模式。体素颜色指示图案活动的强度。

根据上图&＃xff0c;研究人员发现在枕背拨(DMOC)和顶上小叶(SPL)区域发现了解码速度和加速的显著激活&＃xff0c;并且在多个时间延迟。在额中央(FC)和感觉运动(SM)区域或任何解码位置的区域均未发现明显的激活

总结

研究人员提出的方法首次实现了基于连续低频脑电图的机械臂在线控制运动解码。描述了从离线解码转换为在线解码时出现的潜在瓶颈&＃xff0c;以及可能的解决方案。讨论了PLSKF的效果及其在不同实验设计中的可扩展性。

参考

Continuous low-frequency EEG decoding of arm movement for closedloop, natural control of a robotic arm

文章来源于网络&＃xff0c;仅用于学术交流&＃xff0c;不用于商业行为&＃xff0c;若有侵权及疑问&＃xff0c;请后台留言&＃xff01;

更多阅读

机器学习&＃xff0c;满足人类情感:如何帮助电脑监控你的精神状态

脑波的振幅、位相、分类

如何快速找到脑机接口社区的历史文章&＃xff1f;

第2期 | 国内脑机接口领域专家教授汇总(修改)

收藏 | 脑电EEG基础与处理汇总

未来50年的神经科学会是什么样呢&＃xff1f;

脑机接口BCI学习交流QQ群&＃xff1a;515148456