​多模态系统下软体机械手对多种意图的精准实时控制

2023-11-04 03:11

本文主要是介绍​多模态系统下软体机械手对多种意图的精准实时控制,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

f0ca0a08fa7b06056418df1e69099655.png

脑机接口(BCI)技术在运动康复中表现出广泛的潜力,主要依靠神经可塑性来恢复运动功能并改善中风患者术后的生活质量。不过一般单纯依靠EEG信号输入的BCI系统通常很难自然地实时传达多任务软体机器人所需的各种控制命令。而多模态人机界面系统(mHMI),集合眼电信号(EOG)、脑电图(EEG)和肌电图(EMG)的特征来生成多维控制指令,有助于构建更友好、人性化的BCI辅助系统,帮助残疾人及运动障碍患者更便捷地完成基本动作。

 1   训练测试阶段

mHMI结合了EEG、EOG和EMG模式,为一个完全集成的系统。实验过程中,用脑电帽检测EEG和EOG运动,Myo臂带检测EMG信号,跟踪手臂运动。软体机器人由一个轻便舒适的手套、执行器、控制面板和一个微型气泵组成,能够安全地执行所有的关节屈伸组合。系统测试阶段为三种模式(EOG、EEG和EMG)交替过程,用户可以在任何时候反复改变并发送EOG指令给机器人。而当EOG检测到双闪烁时,系统自动进入EEG模式,而任何时候双闪都可以使系统重新进入EOG模式,从而实现三种模式的交替。

1dabb39e827c62e620d743767cd47b7e.png

图1 实验条件和控制系统展示,mHMI在手部测试过程中的使用原理 (A)为mHMI和实验条件的原始模型;(B)为控制系统和软体机器人手的示意图。

dc57f027142a694cb4417f89c41ee7e8.png

图2训练测试范式和模式交替过程的实验结构

图2(A)为根据屏幕上的呈现或计算机发出的提示进行训练和测试阶段的试验程序,EOG、EEG和EMG模式的时间范围分别为0 ~t1、t2 ~ t3和t4 ~ t5。交替模式的时间范围分别为t1 ~ t2、t3 ~ t4和t5 ~t6;(B)为模式交替圆环表示,描述了三种模式下根据被试意图以双闪烁开始的模式交替过程。

运动意图检测和机器控制

mHMI系统可以充分利用每种模式的优点,在检测用户意图之前,通过每个模式的训练数据建立三种训练模型,利用双阈值法建立EOG模型,识别左视、左视和双眨眼的眼动,并将其转换为相应的命令,将处理后的EEG数据输入到训练好的SVM分类器模型中,然后从测试集上的测试模型得到分类结果。在EMG模式下,将EMG输入到封装好的模式识别算法中,对手势进行分类,并将手势成功转换为相应的控制指令。线上系统控制主要目标是保持三种数据记录的同步性和控制命令是协调,主要通过人体和环境交互训练、联机或脱机数据采集的硬件支持、硬件和软件之间的交互训练和软件集成平台的完善来实现。

fad6ffaf746c8704681f7aa4527cae6f.png

图3 利用mHMI检测和控制软体机器人运动意图的流程图。

7d61a2d881b1b454b500172c666b1d60.png

图4  mHMI的主要结构和工作流程

 2   实验结果

mHMI的优点之一是结合了EOG、EEG和EMG三种模式来检测运动意图,并对每种模式下运动意图的显著特征进行分析和比较。该研究中,相比单模态分析,mHMI不仅增加了控制命令的数量,而且提高了分类的准确性,所有被试都成功地使用mHMI完成了控制任务。

d97ef9d94113675296d9dcf7dad561d4.png

图5 眨眼和眼睛扫视检测的识别结果

ef999c994841d7884996010568371d97.png

图6 检测左手或右手MI时,C3和C4电极上的ERD/ERS与相应的静息状态分别比较。

7a961f079d9859eb83391f77988dfcec.png

图7 手部动作结果分别呈现。

在软体机器人的协助下,被试能够根据自己的意愿快速抓取日常生活中的各种物体。

该系统中mHMI能够检测11种运动意图,准确率达93.83%,能够以友好、方便的方式实时控制软机器人,为健康或残疾人提供手部运动的帮助,也为多模态系统的优化方向提供一个前沿的思路。未来的工作中可能更倾向于满足BCI系统基于该模式下的便携性、经济性和同步多信息采集性能,以提高控制命令、控制速度、ACC和实用性。同时,应进行mHMI,以辅助慢性脑卒中患者手部运动功能的恢复。

原文:

Zhang Jinhua, Wang Baozeng, Zhang Cheng, Xiao Yanqing, Wang Michael Yu. An EEG/EMG/EOG-Based Multimodal Human-Machine Interface to Real-Time Control of a Soft Robot Hand. JOURNAL:Frontiers in Neurorobotics

https://www.frontiersin.org/article/10.3389/fnbot.2019.00007

DOI:10.3389/fnbot.2019.00007    


仅用于学术交流,不用于商业行为,若有侵权及疑问,请后台留言,管理员即时删侵!

更多阅读

味觉可以被识别吗?脑机接口在味觉感知中的新应用

AI学会了用“人眼”看世界,甚至连人类瞳孔的细微缩放都能模拟

一项研究为脑卒中后视觉康复带来新的希望

脑机 | NexStem 宣布推出 BCI 耳机和软件

军科院医学研究院神经工程与脑科学研究团队2022年招聘启事

脑-机交互运动训练的神经反馈方法及康复应用

脑机接口如何改变未来?

   加入社群  

欢迎加入脑机接口社区交流群,

探讨脑机接口领域话题,实时跟踪脑机接口前沿。

加微信群:

添加微信:RoseBCI【备注:姓名+行业/专业】。

加QQ群:913607986

  欢迎来稿  

1.欢迎来稿。投稿咨询,请联系微信:RoseBCI

2.加入社区成为兼职创作者,请联系微信:RoseBCI

2bb3170a132cc4db41553b5649f1f71b.png

bf47b4c9aa09a175f1a7386cc2fe67d4.png

31887c24dd5770e6f992eadc5197630d.png

c4fd662ebb0b4669eb5e2be328526918.png

助力脑机接口发展

18377f8d85bdad41cbc5d861f1b36e56.png

16c0d2745dff7c682956be6dd25002e7.png

6836a5e24a22eb5120bd88029c49e765.png


baeae47e221d3cd492ee4a77f7530686.png

4ae6104f51a40a33dcef0846d24d7a6d.png

点个在看祝你开心一整天!

这篇关于​多模态系统下软体机械手对多种意图的精准实时控制的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/342825

相关文章

Java 中实现异步的多种方式

《Java中实现异步的多种方式》文章介绍了Java中实现异步处理的几种常见方式,每种方式都有其特点和适用场景,通过选择合适的异步处理方式,可以提高程序的性能和可维护性,感兴趣的朋友一起看看吧... 目录1. 线程池(ExecutorService)2. CompletableFuture3. ForkJoi

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近,很多电脑用户可能遇到了mss32.dll文件丢失的问题,导致一些应用程序无法正常启动,那么,如何修复这个问题呢... 在电脑常年累月的使用过程中,偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时,系统突然弹出一个错误提

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

Linux系统之dns域名解析全过程

《Linux系统之dns域名解析全过程》:本文主要介绍Linux系统之dns域名解析全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、dns域名解析介绍1、DNS核心概念1.1 区域 zone1.2 记录 record二、DNS服务的配置1、正向解析的配置

C++字符串提取和分割的多种方法

《C++字符串提取和分割的多种方法》在C++编程中,字符串处理是一个常见的任务,尤其是在需要从字符串中提取特定数据时,本文将详细探讨如何使用C++标准库中的工具来提取和分割字符串,并分析不同方法的适用... 目录1. 字符串提取的基本方法1.1 使用 std::istringstream 和 >> 操作符示

python展开嵌套列表的多种方法

《python展开嵌套列表的多种方法》本文主要介绍了python展开嵌套列表的多种方法,包括for循环、列表推导式和sum函数三种方法,具有一定的参考价值,感兴趣的可以了解一下... 目录一、嵌套列表格式二、嵌套列表展开方法(一)for循环(1)for循环+append()(2)for循环+pyPhWiFd

Linux系统中配置静态IP地址的详细步骤

《Linux系统中配置静态IP地址的详细步骤》本文详细介绍了在Linux系统中配置静态IP地址的五个步骤,包括打开终端、编辑网络配置文件、配置IP地址、保存并重启网络服务,这对于系统管理员和新手都极具... 目录步骤一:打开终端步骤二:编辑网络配置文件步骤三:配置静态IP地址步骤四:保存并关闭文件步骤五:重

Python实现PDF与多种图片格式之间互转(PNG, JPG, BMP, EMF, SVG)

《Python实现PDF与多种图片格式之间互转(PNG,JPG,BMP,EMF,SVG)》PDF和图片是我们日常生活和工作中常用的文件格式,有时候,我们可能需要将PDF和图片进行格式互转来满足... 目录一、介绍二、安装python库三、Python实现多种图片格式转PDF1、单张图片转换为PDF2、多张图

电脑开机提示krpt.dll丢失怎么解决? krpt.dll文件缺失的多种解决办法

《电脑开机提示krpt.dll丢失怎么解决?krpt.dll文件缺失的多种解决办法》krpt.dll是Windows操作系统中的一个动态链接库文件,它对于系统的正常运行起着重要的作用,本文将详细介绍... 在使用 Windows 操作系统的过程中,用户有时会遇到各种错误提示,其中“找不到 krpt.dll”

python多种数据类型输出为Excel文件

《python多种数据类型输出为Excel文件》本文主要介绍了将Python中的列表、元组、字典和集合等数据类型输出到Excel文件中,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录一.列表List二.字典dict三.集合set四.元组tuplepython中的列表、元组、字典