MIT发明10美元AI触觉手套:既能识别物体,又能称重

2023-10-11 01:59

本文主要是介绍MIT发明10美元AI触觉手套:既能识别物体,又能称重,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大数据文摘出品

编译:橡树_hiangsug、曹培信


对人类的感知觉能力(如视觉、听觉和触觉)的研究和复制往往取决于相关数据的可用性,数据集越大越丰富,模型的性能越高。


人工视觉和语音系统的进步依赖于深度学习模型,并且由无处不在的数字图像和语音音频数据库推动。


相比之下,由于将电子设备集成到柔性材料中的难度较大,触觉传感器(将物理接触刺激转换为可测量信号的设备)的发展受限。MIT人工智能实验室(CSAIL)的Subramanian Sundaram等研究人员,开发了一种低成本的触觉手套,为这一问题提供了一条可能的解决方案。



论文地址:

https://www.nature.com/articles/s41586-019-1234-z


该手套由一个手形传感套管组成,连接在针织手套的手掌侧(图1)。套筒包含力敏膜,膜上缝制了64个导电线网络(沿手套的一个方向32个,沿其垂直方向32个)。这些螺纹重叠的548个点中配置了压力传感器,当按压这些点时,交错膜的电阻便会减小。手套的输出可以作为32×32灰度像素阵列处理,其中每个像素的颜色表示从低(黑色)到高(白色)的施加压力,以每秒约七帧的速度记录压力图。


图1 | 低成本的触觉采集手套。Sundaram 等人描述了一种手套,由附接到针织手套(黄色)的手形感测套筒(黑色)组成。套筒包含力敏膜,在该膜上缝制导电线(银)网络。这些螺纹重叠的点形成压力传感器。作者表明,在对象操作期间由这些传感器收集的压力图使机器学习模型能够学习识别单个对象,估计对象的权重并区分不同的手部姿势。


Sundaram及其同事在研究中使用手套记录了几个压力图的视频,采集了3-5个单独操作26个日常物品的过程。通过这个程序产生了一个精密压力图数据库(据我所知,这已经是最大的数据集之一)。作者发现,尽管制造成本仅为10美元左右,但手套具有柔韧性,坚固性和对小压力变化的敏感性。



为了证明手套捕获手与每个物体的不同相互作用,Sundaram 等人使用记录的数据进行自动物体识别。他们将采集的数据训练用于大规模图像分类的深度学习模型,以便在盲操作期间重新识别26个物体。结果证明,图数据的量及其空间分辨率对于成功识别物体至关重要。



使用可伸缩的触觉手套学习人类抓握的特征


接下来,作者使用手套拾取物体,并表明类似的深度学习模型可以估计未知物体的重量。即便在不同的手部姿势下佩戴手套,传感器读取的信号都足以详细地区分每个姿势。最后,Sundaram及其同事通过观察信号相关性分析了在物体抓取过程中不同手区域之间的协作关系。


除了提供人类掌握的充分研究原理的实验证据之外,这种数据驱动的探索可以提高我们对物体操纵过程中触摸功能的理解。深度学习模型极大地提高了我们对视觉对象识别的神经机制的认识。从这一角度来讲,类似的方法可以应用于解释大脑中的触觉信息处理。


触觉手套抓起一个咖啡杯产生的交互


Sundaram及其同事在物体操纵过程中同时产生压力图和相应的手部照片,产生大量同步的视觉和触觉信息。多种形式的感官知觉的数据集是不常见的,蕴含了多感觉整合系统发展的基本步骤以及大脑对环境的连贯感知的理解。


这种柔性传感装置可具有各种应用场景,例如,在医疗诊断,个人健康护理和运动中,甚至可能影响活动(外部动力)假肢和机器人手的发展。触觉反馈在控制手部运动和施加力道起到了至关重要的作用,这些信息的缺乏使得人类和机器人无法实现稳定的抓握。此外,触觉直接实现了针对物体识别和定位的触觉探索。众所周知,提供具有触觉反馈的活动假体可以有助于减轻幻肢痛(从肢体缺失的感觉),增加对假体的融入性,减少控制装置所涉及的认知压力,实现更自然的操作。


重量估计的示例和性能。


触觉传感器可以被并入包围假肢的手套或直接固定到机械部件。在这方面,Sundaram及其同事的设备技术可以适应各种形状,以便整合到机器人或假肢中。目前,手套所需的密集传感器覆盖是其最大的局限性。


一方面尽管作者使用行和列的设计来保持这种布线合理的约束,但仍需要广泛的布线排列。另一方面是记录压力图的速率,根据应用场景可能需要更大的提升(例如,通过触觉反馈控制机器人手)。尽管如此,我认为目前形式的手套或其改进版本为机器人应用提供了令人兴奋的前景。


在过去的几年里,研究人员在物体操纵过程中使用了特殊的手套来记录手部姿势数据,并将这些记录的经验输入到一个模型中,该模型从这些数据中学习并产生产生成功的操作。这种将人类经验转化为机器人的方法可以从使用Sundaram及其同事的数据采集手套中受益。


最后,目前的研究为几种计算机视觉模型重新用于触觉信号处理铺平了道路,拓展了数十年的计算机视觉研究方向。这种方法带来了许多效益,可以消除了涉及模型选择等(在早期阶段减缓了深度学习的发展)的各种问题。


因此,Sundaram及其同事的手套可以促进触觉传感的快速发展。我相信手套的低成本将有助于复制和共享用于制造设备和数据采集设置的方法,促进在触觉传感研究中使用大型和标准数据集,而这也是目前是计算机视觉的主要限制因素。


相关报道:

https://www.nature.com/articles/d41586-019-01593-w

这篇关于MIT发明10美元AI触觉手套:既能识别物体,又能称重的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/184706

相关文章

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

讯飞webapi语音识别接口调用示例代码(python)

《讯飞webapi语音识别接口调用示例代码(python)》:本文主要介绍如何使用Python3调用讯飞WebAPI语音识别接口,重点解决了在处理语音识别结果时判断是否为最后一帧的问题,通过运行代... 目录前言一、环境二、引入库三、代码实例四、运行结果五、总结前言基于python3 讯飞webAPI语音

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo