柔性织物处理 | 山大宋锐老师 | 最新演讲

2024-08-23 07:04

本文主要是介绍柔性织物处理 | 山大宋锐老师 | 最新演讲,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

笔者是清华在读研究生,主要关注人形机器人、具身智能。将持续分享行业前沿动态、学者观点整理、论文阅读笔记、知识学习路线等。欢迎交流

最近听了宋老师的演讲,以下是学习整理。部分图截自直播,若模糊望见谅


演讲信息:

【会议】2024亚太人工智能与机器人产业峰会-具身智能及机器人专题论坛

【时间】2024年7月13日

【演讲者】山东大学宋锐教授(长江学者)

【演讲主题】面向柔性物体操作的机器人具身技能学习


演讲纪要:

  • 柔性织物国外研究做得更多。这不是个新课题,2010年曾经热过一段,2018-2019年热过一段

  • 宋教授团队有用模仿学习,做织物抖动与放置、不同包裹状态下织物展平、引入LLM进行高度褶皱织物的展平、衣物悬挂、曲边缝制等的工作

  • 柔性织物待探索点:

  • 更好的硬件平台。ALOHA臂末端抖动严重、无法保障精度,需要采集更多数据弥补

  • 更好的末端夹具

  • 更适用柔性织物的仿真平台。isaacsim也可以用,但力学过程没那么完备

  • 学习范式。直接端到端的学习,和任务分解学习,哪个更高效?


背景

目前机器人领域高精度、高速度追求已经达到了阶段性指标,现在比较难的是柔性物体。柔性物体包括织物、弹性橡胶类、塑性材料等。该演讲主要关于柔性织物:

提升机器人操作可形变物体的能力,有助于推动非结构化环境中自主操作机器人的发展

很难用严谨的物理模型来表达它,往往用数字化方法来逼近:

相关研究

建模

一维的理线;二维铺平/裁切;三维挂/折叠/补口袋

80、90年代就有人开始建模

  • MSS建模简单问题,对大的形变,其物理逼近能力较差

  • PBD快速建模,优势在于三维空间视觉层面的逼真,是运动学方面的建模优势,也有一定的力学,但并不用擅长

  • FEM既可以建运动学方面,又可以建力学方面,但现在很多机器人模拟器兼容性较差,但主要问题还是计算时间较长

目前针对柔性织物的仿真器力学过程没有那么完备

感知

一般刚体操作都是计算动力学,而织物这块只能估计动力学,比较有难度

目前并没有发现真正通用的软物料解决方案。一般大部分基于视觉检测、数据分析。而少部分不好拟合的,用数据驱动的方法进行集成,做一些迁移学习的内容

希腊帕特雷大学。用传统方法进行数据解析。简单的相对规则的目标检测。比较早:

CMU在2020。角点、边缘,抓取位置的位姿估计:

三维空间,用MAYA系统,用网格方法进行建模:

操作

操作部分是最难的 基于物理规划或基于传感器的:

基于学习的:

团队工作

模仿学习。人先示教,单手操作会先抖一下,将抖开,让机器人学习抖动的动作

将大模型引入,进行研判:

挂衣服、叠衣服:

完成直线缝制任务:选用稍微有点刚度的物料

待探索点

1. 更好的硬件平台

在采集数据时,发现ALOHA舵机系统末端抖动很严重、精度无法保障,从而需要更大量的数据去弥补。一个更好的平台可能更便于研究

2. 更好的夹具

3. 更好的仿真效果

4. 多传感器融合

肯定要融合数据。但融合哪些、怎么融合,还是一个很值得研究的问题。可能在力学、滑动学方面,需要去设计一些传感器

5. 学习范式

端到端的学习,和任务分解学习,哪种方式更高效?

这篇关于柔性织物处理 | 山大宋锐老师 | 最新演讲的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1098689

相关文章

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

Python实现自动化接收与处理手机验证码

《Python实现自动化接收与处理手机验证码》在移动互联网时代,短信验证码已成为身份验证、账号注册等环节的重要安全手段,本文将介绍如何利用Python实现验证码的自动接收,识别与转发,需要的可以参考下... 目录引言一、准备工作1.1 硬件与软件需求1.2 环境配置二、核心功能实现2.1 短信监听与获取2.

Python使用date模块进行日期处理的终极指南

《Python使用date模块进行日期处理的终极指南》在处理与时间相关的数据时,Python的date模块是开发者最趁手的工具之一,本文将用通俗的语言,结合真实案例,带您掌握date模块的六大核心功能... 目录引言一、date模块的核心功能1.1 日期表示1.2 日期计算1.3 日期比较二、六大常用方法详

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

最新Spring Security实战教程之Spring Security安全框架指南

《最新SpringSecurity实战教程之SpringSecurity安全框架指南》SpringSecurity是Spring生态系统中的核心组件,提供认证、授权和防护机制,以保护应用免受各种安... 目录前言什么是Spring Security?同类框架对比Spring Security典型应用场景传统

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言