柔性织物处理 | 山大宋锐老师 | 最新演讲

2024-08-23 07:04

本文主要是介绍柔性织物处理 | 山大宋锐老师 | 最新演讲,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

笔者是清华在读研究生,主要关注人形机器人、具身智能。将持续分享行业前沿动态、学者观点整理、论文阅读笔记、知识学习路线等。欢迎交流

最近听了宋老师的演讲,以下是学习整理。部分图截自直播,若模糊望见谅


演讲信息:

【会议】2024亚太人工智能与机器人产业峰会-具身智能及机器人专题论坛

【时间】2024年7月13日

【演讲者】山东大学宋锐教授(长江学者)

【演讲主题】面向柔性物体操作的机器人具身技能学习


演讲纪要:

  • 柔性织物国外研究做得更多。这不是个新课题,2010年曾经热过一段,2018-2019年热过一段

  • 宋教授团队有用模仿学习,做织物抖动与放置、不同包裹状态下织物展平、引入LLM进行高度褶皱织物的展平、衣物悬挂、曲边缝制等的工作

  • 柔性织物待探索点:

  • 更好的硬件平台。ALOHA臂末端抖动严重、无法保障精度,需要采集更多数据弥补

  • 更好的末端夹具

  • 更适用柔性织物的仿真平台。isaacsim也可以用,但力学过程没那么完备

  • 学习范式。直接端到端的学习,和任务分解学习,哪个更高效?


背景

目前机器人领域高精度、高速度追求已经达到了阶段性指标,现在比较难的是柔性物体。柔性物体包括织物、弹性橡胶类、塑性材料等。该演讲主要关于柔性织物:

提升机器人操作可形变物体的能力,有助于推动非结构化环境中自主操作机器人的发展

很难用严谨的物理模型来表达它,往往用数字化方法来逼近:

相关研究

建模

一维的理线;二维铺平/裁切;三维挂/折叠/补口袋

80、90年代就有人开始建模

  • MSS建模简单问题,对大的形变,其物理逼近能力较差

  • PBD快速建模,优势在于三维空间视觉层面的逼真,是运动学方面的建模优势,也有一定的力学,但并不用擅长

  • FEM既可以建运动学方面,又可以建力学方面,但现在很多机器人模拟器兼容性较差,但主要问题还是计算时间较长

目前针对柔性织物的仿真器力学过程没有那么完备

感知

一般刚体操作都是计算动力学,而织物这块只能估计动力学,比较有难度

目前并没有发现真正通用的软物料解决方案。一般大部分基于视觉检测、数据分析。而少部分不好拟合的,用数据驱动的方法进行集成,做一些迁移学习的内容

希腊帕特雷大学。用传统方法进行数据解析。简单的相对规则的目标检测。比较早:

CMU在2020。角点、边缘,抓取位置的位姿估计:

三维空间,用MAYA系统,用网格方法进行建模:

操作

操作部分是最难的 基于物理规划或基于传感器的:

基于学习的:

团队工作

模仿学习。人先示教,单手操作会先抖一下,将抖开,让机器人学习抖动的动作

将大模型引入,进行研判:

挂衣服、叠衣服:

完成直线缝制任务:选用稍微有点刚度的物料

待探索点

1. 更好的硬件平台

在采集数据时,发现ALOHA舵机系统末端抖动很严重、精度无法保障,从而需要更大量的数据去弥补。一个更好的平台可能更便于研究

2. 更好的夹具

3. 更好的仿真效果

4. 多传感器融合

肯定要融合数据。但融合哪些、怎么融合,还是一个很值得研究的问题。可能在力学、滑动学方面,需要去设计一些传感器

5. 学习范式

端到端的学习,和任务分解学习,哪种方式更高效?

这篇关于柔性织物处理 | 山大宋锐老师 | 最新演讲的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1098689

相关文章

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

Java Response返回值的最佳处理方案

《JavaResponse返回值的最佳处理方案》在开发Web应用程序时,我们经常需要通过HTTP请求从服务器获取响应数据,这些数据可以是JSON、XML、甚至是文件,本篇文章将详细解析Java中处理... 目录摘要概述核心问题:关键技术点:源码解析示例 1:使用HttpURLConnection获取Resp

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Java字符串处理全解析(String、StringBuilder与StringBuffer)

《Java字符串处理全解析(String、StringBuilder与StringBuffer)》:本文主要介绍Java字符串处理全解析(String、StringBuilder与StringBu... 目录Java字符串处理全解析:String、StringBuilder与StringBuffer一、St

浅析Java中如何优雅地处理null值

《浅析Java中如何优雅地处理null值》这篇文章主要为大家详细介绍了如何结合Lambda表达式和Optional,让Java更优雅地处理null值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录场景 1:不为 null 则执行场景 2:不为 null 则返回,为 null 则返回特定值或抛出异常场景

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka