是噱头还是低成本新宠？加州大学用视觉追踪实现跨平台的机器手全掌控？

本文主要是介绍是噱头还是低成本新宠？加州大学用视觉追踪实现跨平台的机器手全掌控？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

导读：

在当今科技飞速发展的时代，机器人的应用越来越广泛。从工业生产到医疗保健，从物流运输到家庭服务，机器人正在逐渐改变我们的生活方式。而机器人的有效操作和控制，离不开高效的遥操作系统。今天，我们要介绍的是UC San Diego 的新研究，一种创新的跨平台视觉外骨骼系统ACE。©️【深蓝AI】编译

1. ACE系统的背景与概述

近年来，机器人研究者们通常利用真实世界的机器人数据，来训练机器人基础模型，这一方法有效性逐渐得到验证，使得数据收集受到了广泛关注。作为一种关键的数据收集方法，“遥操作”的设计关键是让研究人员能够演示和记录复杂的机器人任务。然而，目前缺乏一种成本效益高、用户友好的遥操作系统，能够适用于不同的末端执行器（如拟人机器人手和夹具）并在多个平台上运行。为了解决这个问题，研究人员开发了ACE系统，这是一种用于低成本灵巧遥操作的跨平台视觉外骨骼系统。

ACE系统由一个3D打印的双手外骨骼和两个安装在外骨骼末端的面向手的低成本网络摄像头组成。外骨骼的关节位置跟踪通过正向运动学提供准确的手腕姿势，两个摄像头提供精确的手部姿势跟踪。通过结合这两种信息来源，系统能够实时跟踪相对于世界坐标的手部姿势。

图1｜ACE系统概述图©️【深蓝AI】编译

2. ACE系统的设计

ACE系统的主要设计原则如下：

●跨平台兼容性： ACE系统确保在各种机器人平台（如固定基座机器人手臂、四足机器人和人形机器人）上的通用性，同时适应不同的末端执行器类型，包括拟人化的手和平行钳夹。

●准确性： 该系统能够将操作员精确的手部和手腕姿势传递到机器人平台，实现精细的操作任务，并提高数据收集的成功率。

●低成本： 强调经济性，便于原型制作，并降低大规模数据收集的门槛；系统使用现成的组件和材料，而不是昂贵的VR头盔或运动跟踪系统等组件。

●用户友好性： 系统直观易用，校准和操作所需的专业知识最少，能适应不同身高和体重的用户。同时，系统提供固定和移动两种底座，用户可以轻松在固定任务和移动任务之间切换。

●易于制造和维护： 系统采用模块化设计，使用标准组件，支持轻松组装、拆卸和更换，易于制造和维护，以减少停机时间并延长使用寿命。

具体而言，ACE系统的硬件装配为：

●双底座设置： ACE系统有两个手臂和两种底座（桌面和移动），这种双底座设置确保了从移动机器人到机器人手臂的跨平台兼容性。桌面版本提供稳定和精确的手腕姿势，适合长期遥操作，用户可以将肘部放在平台上休息。移动底座则适用于需要不断移动或持续调整视野的任务，特别适合人形和四足移动平台。

●伺服和摄像头： 系统的每个手臂有七个连杆、六个自由度（DoF）、一个手腕和一个摄像头支架。每个手臂配备UCB2Dynamixel（U2D2）控制器和DYNAMIXEL XL330-M288-T伺服电机，具有高分辨率的12位编码器，可确保精确的关节位置读取和精确的末端执行器跟踪。二自由度摄像头支架可实现最佳的手部定位，避免基于视觉的手部跟踪中常见的遮挡问题。

●磁性连接： 系统采用模块化设计，使用磁性连接。这种设计不仅成本低，而且大大增强了用户体验。传统的外骨骼设备穿戴过程很复杂，但ACE系统的磁性模块化设计允许用户在不到30秒内独立穿戴该系统。此外，磁性连接便于快速轻松地调整尺寸，手腕尺寸几乎可以立即改变，上臂和下臂长度的调整可以在2分钟内完成。这种模块化设计还使用户可以轻松集成更新的组件，实现对开源系统的高效升级。

图2｜ACE远程操作系统的体系结构©️【深蓝AI】编译

当用户开始收集演示时，系统会”估计”精确的手腕姿势，和手部关键点。手腕姿势通过读取外骨骼编码器的关节角度，以及外骨骼的正向运动学计算姿势来确定。手部图像使用MediaPipe（一种轻量级的、基于RGB的手部检测工具，可在CPU上实时运行）进行处理，以检测手腕框架中的21个手部关键点。

在获得手腕和手部姿势数据后，系统将人类动作映射到各种平台上的目标机器人姿势，和末端执行器的控制信号上。为了满足不同平台和任务的特定需求，系统在开发控制接口时解决了三个重要挑战：工作空间不匹配、控制规模可变性和可用性问题，具体阐述如下：

●匹配工作空间大小： 不同平台上的工作空间大小变化是一个重大挑战，特别是在双手操作中。对于给定平台，用户可以在配置中指定所需的工作空间。通过穿戴设备并移动手臂，系统可以对齐人类和机器人工作空间的中心，并记录这两个工作空间之间的匹配比例。

●控制规模可变性： 不同的任务和平台需要不同级别的控制精度。例如，当使用实际机器人平台的缩放副本时，直接的关节匹配遥操作会导致在将运动传递到更大的机器人手臂时误差被放大。在系统中，通过使用逆运动学来映射末端执行器位置，可以提供从遥操作设备到实际机器人更准确和直观的映射。

●可用性： 为了增强可用性并适应不同的任务和机器人平台，系统具有不同的控制模式，作为将末端执行器姿势传递到实际机器人之前的附加层。包括正常模式（直接将末端执行器位置传递到实际机器人）、镜像模式（专为大型机器人设计，使用户能够与机器人面对面操作）和双手模式（用于需要高精度的双手任务）。此外，根据不同的末端执行器类型，系统还支持夹具模式（专为平行钳夹设计）和手模式（将手和指尖的运动重新定位到机器人手）。

3. 实验效果

为了研究ACE系统的精度和可转移性，研究人员设计了两个实验。

■3.1 末端执行器精度和效率实验

●精度评估： 与其他关节匹配方法类似，系统中从关节编码器获得的末端执行器姿势具有很高的精度，平均正向运动学误差约为1毫米。在测量胶带延伸任务中，通过将胶带从20厘米延伸到40厘米，展示了遥操作末端执行器能够准确代表操作员的运动，平均误差仅为3毫米。

●“目标到达”评估： 将ACE系统与之前的关节匹配系统（GELLO）进行比较，研究人员设计了一个“目标到达任务”来评估两个系统在模拟中的性能。操作员的目的是控制末端执行器到达随机生成的目标区域，当两个末端执行器都到达各自的目标区域，并在目标区域内保持一段时间时，记录为成功。实验设置了四种场景来评估遥操作性能，包括小、中、大工作空间和目标区域。结果表明，ACE系统在大多数场景和指标上都优于GELLO，表现出更短的时间成本、更高的到达速度、更高的有效比率和成功率。

■3.2 模仿学习实验

研究人员设计了六个需要多步灵巧遥操作的现实世界任务，包括真空键盘、服务糖果、擦白板、抓取玩偶、放入网球等。使用ACE系统在xArm（配备Ability Hand）和H1（配备Inspire Hand）上收集数据，并使用3D扩散策略和ACT进行模仿学习。结果表明，使用ACE可以高效地收集大量数据，并且在不同任务上具有较高的成功率。