是噱头还是低成本新宠?加州大学用视觉追踪实现跨平台的机器手全掌控?

本文主要是介绍是噱头还是低成本新宠?加州大学用视觉追踪实现跨平台的机器手全掌控?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

导读:

在当今科技飞速发展的时代,机器人的应用越来越广泛。从工业生产到医疗保健,从物流运输到家庭服务,机器人正在逐渐改变我们的生活方式。而机器人的有效操作和控制,离不开高效的遥操作系统。今天,我们要介绍的是UC San Diego 的新研究,一种创新的跨平台视觉外骨骼系统ACE。©️【深蓝AI】编译

1. ACE系统的背景与概述

近年来,机器人研究者们通常利用真实世界的机器人数据,来训练机器人基础模型,这一方法有效性逐渐得到验证,使得数据收集受到了广泛关注。作为一种关键的数据收集方法,“遥操作”的设计关键是让研究人员能够演示和记录复杂的机器人任务。然而,目前缺乏一种成本效益高、用户友好的遥操作系统,能够适用于不同的末端执行器(如拟人机器人手和夹具)并在多个平台上运行。为了解决这个问题,研究人员开发了ACE系统,这是一种用于低成本灵巧遥操作的跨平台视觉外骨骼系统。

ACE系统由一个3D打印的双手外骨骼和两个安装在外骨骼末端的面向手的低成本网络摄像头组成。外骨骼的关节位置跟踪通过正向运动学提供准确的手腕姿势,两个摄像头提供精确的手部姿势跟踪。通过结合这两种信息来源,系统能够实时跟踪相对于世界坐标的手部姿势。

图1|ACE系统概述图©️【深蓝AI】编译

2. ACE系统的设计

ACE系统的主要设计原则如下:

●跨平台兼容性: ACE系统确保在各种机器人平台(如固定基座机器人手臂、四足机器人和人形机器人)上的通用性,同时适应不同的末端执行器类型,包括拟人化的手和平行钳夹。

●准确性: 该系统能够将操作员精确的手部和手腕姿势传递到机器人平台,实现精细的操作任务,并提高数据收集的成功率。

●低成本: 强调经济性,便于原型制作,并降低大规模数据收集的门槛;系统使用现成的组件和材料,而不是昂贵的VR头盔或运动跟踪系统等组件。

●用户友好性: 系统直观易用,校准和操作所需的专业知识最少,能适应不同身高和体重的用户。同时,系统提供固定和移动两种底座,用户可以轻松在固定任务和移动任务之间切换。

●易于制造和维护: 系统采用模块化设计,使用标准组件,支持轻松组装、拆卸和更换,易于制造和维护,以减少停机时间并延长使用寿命。

具体而言,ACE系统的硬件装配为:

●双底座设置: ACE系统有两个手臂和两种底座(桌面和移动),这种双底座设置确保了从移动机器人到机器人手臂的跨平台兼容性。桌面版本提供稳定和精确的手腕姿势,适合长期遥操作,用户可以将肘部放在平台上休息。移动底座则适用于需要不断移动或持续调整视野的任务,特别适合人形和四足移动平台。

●伺服和摄像头: 系统的每个手臂有七个连杆、六个自由度(DoF)、一个手腕和一个摄像头支架。每个手臂配备UCB2Dynamixel(U2D2)控制器和DYNAMIXEL XL330-M288-T伺服电机,具有高分辨率的12位编码器,可确保精确的关节位置读取和精确的末端执行器跟踪。二自由度摄像头支架可实现最佳的手部定位,避免基于视觉的手部跟踪中常见的遮挡问题。

●磁性连接: 系统采用模块化设计,使用磁性连接。这种设计不仅成本低,而且大大增强了用户体验。传统的外骨骼设备穿戴过程很复杂,但ACE系统的磁性模块化设计允许用户在不到30秒内独立穿戴该系统。此外,磁性连接便于快速轻松地调整尺寸,手腕尺寸几乎可以立即改变,上臂和下臂长度的调整可以在2分钟内完成。这种模块化设计还使用户可以轻松集成更新的组件,实现对开源系统的高效升级。

图2|ACE远程操作系统的体系结构©️【深蓝AI】编译

当用户开始收集演示时,系统会”估计”精确的手腕姿势,和手部关键点。手腕姿势通过读取外骨骼编码器的关节角度,以及外骨骼的正向运动学计算姿势来确定。手部图像使用MediaPipe(一种轻量级的、基于RGB的手部检测工具,可在CPU上实时运行)进行处理,以检测手腕框架中的21个手部关键点。

在获得手腕和手部姿势数据后,系统将人类动作映射到各种平台上的目标机器人姿势,和末端执行器的控制信号上。为了满足不同平台和任务的特定需求,系统在开发控制接口时解决了三个重要挑战:工作空间不匹配、控制规模可变性和可用性问题,具体阐述如下:

●匹配工作空间大小: 不同平台上的工作空间大小变化是一个重大挑战,特别是在双手操作中。对于给定平台,用户可以在配置中指定所需的工作空间。通过穿戴设备并移动手臂,系统可以对齐人类和机器人工作空间的中心,并记录这两个工作空间之间的匹配比例。

●控制规模可变性: 不同的任务和平台需要不同级别的控制精度。例如,当使用实际机器人平台的缩放副本时,直接的关节匹配遥操作会导致在将运动传递到更大的机器人手臂时误差被放大。在系统中,通过使用逆运动学来映射末端执行器位置,可以提供从遥操作设备到实际机器人更准确和直观的映射。

●可用性: 为了增强可用性并适应不同的任务和机器人平台,系统具有不同的控制模式,作为将末端执行器姿势传递到实际机器人之前的附加层。包括正常模式(直接将末端执行器位置传递到实际机器人)、镜像模式(专为大型机器人设计,使用户能够与机器人面对面操作)和双手模式(用于需要高精度的双手任务)。此外,根据不同的末端执行器类型,系统还支持夹具模式(专为平行钳夹设计)和手模式(将手和指尖的运动重新定位到机器人手)。

3. 实验效果

为了研究ACE系统的精度和可转移性,研究人员设计了两个实验。

■3.1 末端执行器精度和效率实验

●精度评估: 与其他关节匹配方法类似,系统中从关节编码器获得的末端执行器姿势具有很高的精度,平均正向运动学误差约为1毫米。在测量胶带延伸任务中,通过将胶带从20厘米延伸到40厘米,展示了遥操作末端执行器能够准确代表操作员的运动,平均误差仅为3毫米。

●“目标到达”评估: 将ACE系统与之前的关节匹配系统(GELLO)进行比较,研究人员设计了一个“目标到达任务”来评估两个系统在模拟中的性能。操作员的目的是控制末端执行器到达随机生成的目标区域,当两个末端执行器都到达各自的目标区域,并在目标区域内保持一段时间时,记录为成功。实验设置了四种场景来评估遥操作性能,包括小、中、大工作空间和目标区域。结果表明,ACE系统在大多数场景和指标上都优于GELLO,表现出更短的时间成本、更高的到达速度、更高的有效比率和成功率。

■3.2 模仿学习实验

研究人员设计了六个需要多步灵巧遥操作的现实世界任务,包括真空键盘、服务糖果、擦白板、抓取玩偶、放入网球等。使用ACE系统在xArm(配备Ability Hand)和H1(配备Inspire Hand)上收集数据,并使用3D扩散策略和ACT进行模仿学习。结果表明,使用ACE可以高效地收集大量数据,并且在不同任务上具有较高的成功率。

图3|跨平台远程操作的细节©️【深蓝AI】编译

4. ACE系统的优势与局限性

ACE系统的优势在于它能够以低成本实现跨平台操作,准确捕捉手部和手腕姿势,适用于多种类型的机器人平台和末端执行器。然而,系统也存在一些局限性,例如相机支架会阻止穿戴者的手合拢,并且由于增加了力矩臂,会增加旋转运动的负担。尽管通过缩放控制器在功能上解决了这些问题,但某些操作仍然不太直观。

总的来说,ACE系统为机器人遥操作提供了一种创新的解决方案,具有很大的发展潜力。未来随着技术的不断进步,相信ACE系统将在更多领域得到应用,为我们的生活带来更多的便利和创新。
©️【深蓝AI】

Ref:
ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation
编译|Scarlett
审核|Los

本文首发于微信公众号【深蓝AI】,移步公众号【深蓝AI】,第一时间获取自动驾驶、人工智能与机器人行业最新最前沿论文和科技动态👇
深蓝AI·赋能自动驾驶+机器人+AI

这篇关于是噱头还是低成本新宠?加州大学用视觉追踪实现跨平台的机器手全掌控?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1136268

相关文章

Spring Security+JWT如何实现前后端分离权限控制

《SpringSecurity+JWT如何实现前后端分离权限控制》本篇将手把手教你用SpringSecurity+JWT搭建一套完整的登录认证与权限控制体系,具有很好的参考价值,希望对大家... 目录Spring Security+JWT实现前后端分离权限控制实战一、为什么要用 JWT?二、JWT 基本结构

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

C# Where 泛型约束的实现

《C#Where泛型约束的实现》本文主要介绍了C#Where泛型约束的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录使用的对象约束分类where T : structwhere T : classwhere T : ne

将Java程序打包成EXE文件的实现方式

《将Java程序打包成EXE文件的实现方式》:本文主要介绍将Java程序打包成EXE文件的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录如何将Java程序编程打包成EXE文件1.准备Java程序2.生成JAR包3.选择并安装打包工具4.配置Launch4

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》:本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin