人机交互新研究:MIT开发了结合脑电和眼电的新式眼镜,与机器狗交互

本文主要是介绍人机交互新研究:MIT开发了结合脑电和眼电的新式眼镜,与机器狗交互,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

还记得之前的AI读心术吗?最近,「心想事成」的能力再次进化,

——人类可以通过自己的想法直接控制机器人了!

来自麻省理工的研究人员发表了Ddog项目,通过自己开发的脑机接口(BCI)设备,控制波士顿动力的机器狗Spot。

狗狗可以按照人类的想法,移动到特定区域、帮人拿东西、或者拍照等。

而且,相比于之前需要使用布满了传感器的头套才能「读心」,本次的脑机接口设备以一幅无线眼镜(AttentivU)的形式出现!

视频中展示的行为也许比较简单,但这个系统的目的是将Spot改造为能够为患有肌萎缩侧索硬化症(ALS)、脑瘫或脊髓损伤等疾病的人士提供基本沟通工具。

整个系统的运行只需要两部iPhone和一副眼镜,却能给这些已经对生活失去希望的人带去实际的帮助和关怀。

并且,我们将在相关的论文中看到,这个系统实际上建立在非常复杂的工程之上。

图片
论文地址:https://doi.org/10.3390/s24010080

Ddog系统使用AttentivU作为脑机接口系统,传感器嵌入到镜框中,用来测量一个人的脑电图 (EEG) 或大脑活动,以及眼电图或眼球运动。

这项研究的基础是MIT的Brain Switch,一种实时的闭环BCI,允许用户与看护人进行非语言和实时的交流。

Ddog系统成功率为83.4%,并且,这是在个人助理用例中首次将无线、非视觉BCI系统与Spot集成。

视频中我们可以看到脑际接口设备的进化之路,以及开发者的一些思考。

在此之前,研究团队就已经完成了脑机接口与智能家居的交互,而现在完成了控制能够移动和操作的机器人。

这些研究给了特殊人群一丝光明,让他们有活下去的希望,甚至未来可以生活得更好。

图片

相比于章鱼一样的传感器头套,下面这个眼镜确实酷多了。

图片

根据美国国家罕见疾病组织的数据,目前美国有30000名ALS患者,且估计每年诊断出5000例新病例。此外,根据《脑瘫指南》,大约有100万美国人患有脑瘫。

这些人中的许多人已经或最终将失去走路、穿衣、说话、写作甚至呼吸的能力。

虽然确实存在通信辅助工具,但大多数是允许用户使用计算机进行通信的眼睛凝视设备。允许用户与周围世界互动的系统并不多。

这种BCI四足机器人系统作为一个早期的原型,为现代个人助理机器人的未来发展铺平了道路。

希望在未来的迭代中,我们能看到更加惊人的能力。

脑控四足机器人

在这项工作中,研究人员探索了无线和可穿戴BCI设备如何控制四足机器人——波士顿动力公司的Spot。
研究人员开发的设备通过嵌入眼镜架中的电极测量用户的脑电图(EEG)和眼电图(EOG)活动。

用户在心中回答一系列问题(「是」或「否」),每个问答都对应一组预置的Spot操作。

比如提示Spot穿过一个房间,拿起一个对象(如一瓶水),然后为用户取回它。

机器人与BCI
时至今日,脑电图仍然是最实用和最适用的非侵入性脑机接口方法之一。

BCI系统可以使用内源性(自发)或外源性(诱发)信号进行控制。

在外源性脑机接口中,当一个人注意外部刺激(如视觉或听觉线索)时,就会出现诱发信号。

这种方法的优点包括极简的训练以及高达60位/分钟的高比特率,但这需要用户始终关注刺激,从而限制了其在现实生活中的适用性。而且,用户在使用外源性BCI时会很快感到疲倦。

在内源性脑机接口中,控制信号独立于任何外部刺激产生,可以由用户按需完全执行。对于那些有感觉障碍的用户来说,这提供了一种更自然和直观的交互方式,用户可以自发地向系统发出命令。

不过这种方法通常需要更长的训练时间,并且比特率较低。

使用脑机接口的机器人应用通常适用于需要帮助的人群,它们通常包括轮椅和外骨骼。

下图展示了截至2023年脑机接口和机器人技术的最新进展。

图片

四足机器人通常用于在复杂的工作环境或国防应用中为用户提供支持。

最著名的四足机器人之一是波士顿动力公司的Spot,它可以携带高达15公斤的有效载荷,并迭代绘制隧道等维护站点的地图。房地产和采矿业也在采用Spot等四足机器人,帮助监控具有复杂物流的工作现场。

本文使用移动BCI解决方案控制的Spot机器人,并基于心算任务,总体架构命名为Ddog。

Ddog架构
下图展示了Ddog的总体结构:

图片

Ddog是一个自主应用程序,用户能够通过BCI的输入控制Spot机器人,而应用程序使用语音向用户及其护理人员提供反馈。

该系统设计为完全离线或完全在线工作。在线版本具有一组更高级的机器学习模型,以及更好的微调模型,对于本地设备也更省电。

整个系统为真实场景而设计,并允许对大多数零件进行快速迭代。

图片

在客户端,用户通过移动应用程序与脑机接口设备(AttentivU)进行交互,该应用程序使用低功耗蓝牙(BLE)协议与设备进行通信。

用户的移动设备与另一部控制Spot机器人的手机进行通信,以实现代理、操纵、导航,最终为用户提供帮助。

手机之间的通信可以通过Wi-Fi或移动网络。负责控制的手机建立一个Wi-Fi热点,Ddog和用户的手机都连接到这个热点。使用在线模式时,还可以连接到云上运行的模型。

服务端
服务器端使用Kubernetes(K8S)集群,每个集群都部署在自己的Virtual Private Cloud(VPC)中。

云在专用VPC内工作,通常部署在更靠近最终用户的同一可用区中,使每个服务的响应延迟最小化。

集群中的每个容器都设计为单一用途(微服务架构),每个服务都是一个正在运行的AI模型,它们的任务包括:导航、映射、计算机视觉、操纵、定位和代理。

映射:从不同来源收集有关机器人周围环境信息的服务。它映射静态的不可移动数据(一棵树、一栋建筑物、一堵墙),但也收集随时间变化的动态数据(一辆车、一个人)。

导航:基于在先前服务中收集和扩充的地图数据,导航服务负责在空间和时间上构建A点和B点之间的路径。它还负责构建替代路线,以及估计所需的时间。

计算机视觉:从机器人摄像头收集视觉数据,并利用手机的数据增强,生成空间和时间表示。此服务还尝试分割每个视觉点并识别对象。

云负责训练与BCI相关的模型,包括脑电图(EEG)、眼电图(EOG)和惯性测量单元(IMU)。

图片

部署在手机上的离线模型运行数据收集和聚合,同时也使用TensorFlow的移动端模型(针对更小的RAM和基于ARM的CPU进行了优化)进行实时推理。

视觉和操作
用于部署分割模型的原始版本是利用LIDAR数据的单个TensorFlow 3D模型。之后,作者将其扩展到少样本模型,并通过运行神经辐射场(NeRF)和RGBD数据的补充模型进行增强。

Ddog收集的原始数据是从五个摄像头汇总而来的。每个摄像头都可以提供灰度、鱼眼、深度和红外数据。手臂的夹持器内部还有第六个摄像头,具有4K分辨率和LED功能,配合预训练的TensorFlow模型检测对象。

点云由激光雷达数据以及由Ddog和手机的RGBD数据生成。数据采集完成后,通过单一坐标系进行归一化处理,并与汇集了所有成像和3D定位数据的全局状态相匹配。

操作完全取决于安装在 Ddog 上的机械臂夹持器的质量,下图的夹具由波士顿动力公司制造。

图片

实验中将用例限制在与预定义位置中的对象进行基本交互。

作者绘制了一个大的实验室空间,将其设置为一个「公寓」,其中包含「厨房」区域(有一个装有不同杯子和瓶子的托盘)、「客厅」区域(带枕头的小沙发和小咖啡桌), 和「窗口休息室」区域。

图片

用例的数量在不断增长,因此覆盖大多数用例的唯一方法是部署一个系统以连续运行一段时间,并使用数据来优化此类序列和体验。

AttentivU
脑电图数据是从AttentivU设备收集的。AttentivU眼镜的电极由天然银制成,根据国际10-20电极放置系统,位于TP9和TP10位置。该眼镜还包括位于鼻托的两个EOG电极和一个位于Fpz位置的EEG参比电极。

这些传感器可以提供所需的信息,并在需要时支持实时、闭环的干预。

图片

设备具有EEG和EOG两种模式,可用于实时捕捉注意力、参与度、疲劳和认知负荷的信号。EEG已被用作清醒和睡眠之间过渡的神经生理学指标,

而EOG基于测量眼球运动过程中由于角膜-视网膜偶极子特性而诱导的生物电信号。研究表明,眼球运动与执行某些任务所需的记忆访问类型相关,并且是视觉参与、注意力和嗜睡的良好衡量标准。

实验
首先将脑电图数据分成几个窗口。将每个窗口定义为1秒长的EEG数据持续时间,与前一个窗口有75%的重叠。

然后是数据预处理和清理。使用50 Hz陷波滤波器和通带为0.5 Hz至40 Hz的带通滤波器的组合对数据进行滤波,以确保消除电力线噪声和不需要的高频。

接下来,作者创建了伪影拒绝算法。如果两个连续epoch之间的绝对功率差大于预定义的阈值,则拒绝某个epoch。

在分类的最后一步,作者混合使用不同的光谱波段功率比来跟踪每个受试者基于任务的心理活动。对于 MA,该比率为(alpha/delta)。对于WA,该比值为(delta/low beta),对于ME,该比值为(delta/alpha)。

然后,使用变化点检测算法来跟踪这些比率的变化。这些比率的突然增加或减少表明用户精神状态发生了变化。

图片

对于患有ALS的受试者,本文的模型在MA任务中达到了73%的准确率,在WA任务中达到了74%的准确率,在ME任务中达到了60%的准确率。

这篇关于人机交互新研究:MIT开发了结合脑电和眼电的新式眼镜,与机器狗交互的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/721286

相关文章

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前,需要制作不同类型格式的根文件系统         在产品研发阶段,我们还是需要使用nfs的方式挂载根文件系统         优点:可以直接在上位机中修改文件系统内容,延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

Vue3项目开发——新闻发布管理系统(六)

文章目录 八、首页设计开发1、页面设计2、登录访问拦截实现3、用户基本信息显示①封装用户基本信息获取接口②用户基本信息存储③用户基本信息调用④用户基本信息动态渲染 4、退出功能实现①注册点击事件②添加退出功能③数据清理 5、代码下载 八、首页设计开发 登录成功后,系统就进入了首页。接下来,也就进行首页的开发了。 1、页面设计 系统页面主要分为三部分,左侧为系统的菜单栏,右侧