MIT发明10美元AI触觉手套:既能识别物体,又能称重

2023-10-11 01:59

本文主要是介绍MIT发明10美元AI触觉手套:既能识别物体,又能称重,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

大数据文摘出品

编译:橡树_hiangsug、曹培信


对人类的感知觉能力(如视觉、听觉和触觉)的研究和复制往往取决于相关数据的可用性,数据集越大越丰富,模型的性能越高。


人工视觉和语音系统的进步依赖于深度学习模型,并且由无处不在的数字图像和语音音频数据库推动。


相比之下,由于将电子设备集成到柔性材料中的难度较大,触觉传感器(将物理接触刺激转换为可测量信号的设备)的发展受限。MIT人工智能实验室(CSAIL)的Subramanian Sundaram等研究人员,开发了一种低成本的触觉手套,为这一问题提供了一条可能的解决方案。



论文地址:

https://www.nature.com/articles/s41586-019-1234-z


该手套由一个手形传感套管组成,连接在针织手套的手掌侧(图1)。套筒包含力敏膜,膜上缝制了64个导电线网络(沿手套的一个方向32个,沿其垂直方向32个)。这些螺纹重叠的548个点中配置了压力传感器,当按压这些点时,交错膜的电阻便会减小。手套的输出可以作为32×32灰度像素阵列处理,其中每个像素的颜色表示从低(黑色)到高(白色)的施加压力,以每秒约七帧的速度记录压力图。


图1 | 低成本的触觉采集手套。Sundaram 等人描述了一种手套,由附接到针织手套(黄色)的手形感测套筒(黑色)组成。套筒包含力敏膜,在该膜上缝制导电线(银)网络。这些螺纹重叠的点形成压力传感器。作者表明,在对象操作期间由这些传感器收集的压力图使机器学习模型能够学习识别单个对象,估计对象的权重并区分不同的手部姿势。


Sundaram及其同事在研究中使用手套记录了几个压力图的视频,采集了3-5个单独操作26个日常物品的过程。通过这个程序产生了一个精密压力图数据库(据我所知,这已经是最大的数据集之一)。作者发现,尽管制造成本仅为10美元左右,但手套具有柔韧性,坚固性和对小压力变化的敏感性。



为了证明手套捕获手与每个物体的不同相互作用,Sundaram 等人使用记录的数据进行自动物体识别。他们将采集的数据训练用于大规模图像分类的深度学习模型,以便在盲操作期间重新识别26个物体。结果证明,图数据的量及其空间分辨率对于成功识别物体至关重要。



使用可伸缩的触觉手套学习人类抓握的特征


接下来,作者使用手套拾取物体,并表明类似的深度学习模型可以估计未知物体的重量。即便在不同的手部姿势下佩戴手套,传感器读取的信号都足以详细地区分每个姿势。最后,Sundaram及其同事通过观察信号相关性分析了在物体抓取过程中不同手区域之间的协作关系。


除了提供人类掌握的充分研究原理的实验证据之外,这种数据驱动的探索可以提高我们对物体操纵过程中触摸功能的理解。深度学习模型极大地提高了我们对视觉对象识别的神经机制的认识。从这一角度来讲,类似的方法可以应用于解释大脑中的触觉信息处理。


触觉手套抓起一个咖啡杯产生的交互


Sundaram及其同事在物体操纵过程中同时产生压力图和相应的手部照片,产生大量同步的视觉和触觉信息。多种形式的感官知觉的数据集是不常见的,蕴含了多感觉整合系统发展的基本步骤以及大脑对环境的连贯感知的理解。


这种柔性传感装置可具有各种应用场景,例如,在医疗诊断,个人健康护理和运动中,甚至可能影响活动(外部动力)假肢和机器人手的发展。触觉反馈在控制手部运动和施加力道起到了至关重要的作用,这些信息的缺乏使得人类和机器人无法实现稳定的抓握。此外,触觉直接实现了针对物体识别和定位的触觉探索。众所周知,提供具有触觉反馈的活动假体可以有助于减轻幻肢痛(从肢体缺失的感觉),增加对假体的融入性,减少控制装置所涉及的认知压力,实现更自然的操作。


重量估计的示例和性能。


触觉传感器可以被并入包围假肢的手套或直接固定到机械部件。在这方面,Sundaram及其同事的设备技术可以适应各种形状,以便整合到机器人或假肢中。目前,手套所需的密集传感器覆盖是其最大的局限性。


一方面尽管作者使用行和列的设计来保持这种布线合理的约束,但仍需要广泛的布线排列。另一方面是记录压力图的速率,根据应用场景可能需要更大的提升(例如,通过触觉反馈控制机器人手)。尽管如此,我认为目前形式的手套或其改进版本为机器人应用提供了令人兴奋的前景。


在过去的几年里,研究人员在物体操纵过程中使用了特殊的手套来记录手部姿势数据,并将这些记录的经验输入到一个模型中,该模型从这些数据中学习并产生产生成功的操作。这种将人类经验转化为机器人的方法可以从使用Sundaram及其同事的数据采集手套中受益。


最后,目前的研究为几种计算机视觉模型重新用于触觉信号处理铺平了道路,拓展了数十年的计算机视觉研究方向。这种方法带来了许多效益,可以消除了涉及模型选择等(在早期阶段减缓了深度学习的发展)的各种问题。


因此,Sundaram及其同事的手套可以促进触觉传感的快速发展。我相信手套的低成本将有助于复制和共享用于制造设备和数据采集设置的方法,促进在触觉传感研究中使用大型和标准数据集,而这也是目前是计算机视觉的主要限制因素。


相关报道:

https://www.nature.com/articles/d41586-019-01593-w

这篇关于MIT发明10美元AI触觉手套:既能识别物体,又能称重的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/184706

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU