柔性织物处理 | 山大宋锐老师 | 最新演讲

2024-08-23 07:04

本文主要是介绍柔性织物处理 | 山大宋锐老师 | 最新演讲,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

笔者是清华在读研究生,主要关注人形机器人、具身智能。将持续分享行业前沿动态、学者观点整理、论文阅读笔记、知识学习路线等。欢迎交流

最近听了宋老师的演讲,以下是学习整理。部分图截自直播,若模糊望见谅


演讲信息:

【会议】2024亚太人工智能与机器人产业峰会-具身智能及机器人专题论坛

【时间】2024年7月13日

【演讲者】山东大学宋锐教授(长江学者)

【演讲主题】面向柔性物体操作的机器人具身技能学习


演讲纪要:

  • 柔性织物国外研究做得更多。这不是个新课题,2010年曾经热过一段,2018-2019年热过一段

  • 宋教授团队有用模仿学习,做织物抖动与放置、不同包裹状态下织物展平、引入LLM进行高度褶皱织物的展平、衣物悬挂、曲边缝制等的工作

  • 柔性织物待探索点:

  • 更好的硬件平台。ALOHA臂末端抖动严重、无法保障精度,需要采集更多数据弥补

  • 更好的末端夹具

  • 更适用柔性织物的仿真平台。isaacsim也可以用,但力学过程没那么完备

  • 学习范式。直接端到端的学习,和任务分解学习,哪个更高效?


背景

目前机器人领域高精度、高速度追求已经达到了阶段性指标,现在比较难的是柔性物体。柔性物体包括织物、弹性橡胶类、塑性材料等。该演讲主要关于柔性织物:

提升机器人操作可形变物体的能力,有助于推动非结构化环境中自主操作机器人的发展

很难用严谨的物理模型来表达它,往往用数字化方法来逼近:

相关研究

建模

一维的理线;二维铺平/裁切;三维挂/折叠/补口袋

80、90年代就有人开始建模

  • MSS建模简单问题,对大的形变,其物理逼近能力较差

  • PBD快速建模,优势在于三维空间视觉层面的逼真,是运动学方面的建模优势,也有一定的力学,但并不用擅长

  • FEM既可以建运动学方面,又可以建力学方面,但现在很多机器人模拟器兼容性较差,但主要问题还是计算时间较长

目前针对柔性织物的仿真器力学过程没有那么完备

感知

一般刚体操作都是计算动力学,而织物这块只能估计动力学,比较有难度

目前并没有发现真正通用的软物料解决方案。一般大部分基于视觉检测、数据分析。而少部分不好拟合的,用数据驱动的方法进行集成,做一些迁移学习的内容

希腊帕特雷大学。用传统方法进行数据解析。简单的相对规则的目标检测。比较早:

CMU在2020。角点、边缘,抓取位置的位姿估计:

三维空间,用MAYA系统,用网格方法进行建模:

操作

操作部分是最难的 基于物理规划或基于传感器的:

基于学习的:

团队工作

模仿学习。人先示教,单手操作会先抖一下,将抖开,让机器人学习抖动的动作

将大模型引入,进行研判:

挂衣服、叠衣服:

完成直线缝制任务:选用稍微有点刚度的物料

待探索点

1. 更好的硬件平台

在采集数据时,发现ALOHA舵机系统末端抖动很严重、精度无法保障,从而需要更大量的数据去弥补。一个更好的平台可能更便于研究

2. 更好的夹具

3. 更好的仿真效果

4. 多传感器融合

肯定要融合数据。但融合哪些、怎么融合,还是一个很值得研究的问题。可能在力学、滑动学方面,需要去设计一些传感器

5. 学习范式

端到端的学习,和任务分解学习,哪种方式更高效?

这篇关于柔性织物处理 | 山大宋锐老师 | 最新演讲的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1098689

相关文章

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

Thymeleaf:生成静态文件及异常处理java.lang.NoClassDefFoundError: ognl/PropertyAccessor

我们需要引入包: <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-thymeleaf</artifactId></dependency><dependency><groupId>org.springframework</groupId><artifactId>sp

C语言:柔性数组

数组定义 柔性数组 err int arr[0] = {0}; // ERROR 柔性数组 // 常见struct Test{int len;char arr[1024];} // 柔性数组struct Test{int len;char arr[0];}struct Test *t;t = malloc(sizeof(Test) + 11);strcpy(t->arr,

jenkins 插件执行shell命令时,提示“Command not found”处理方法

首先提示找不到“Command not found,可能我们第一反应是查看目标机器是否已支持该命令,不过如果相信能找到这里来的朋友估计遇到的跟我一样,其实目标机器是没有问题的通过一些远程工具执行shell命令是可以执行。奇怪的就是通过jenkinsSSH插件无法执行,经一番折腾各种搜索发现是jenkins没有加载/etc/profile导致。 【解决办法】: 需要在jenkins调用shell脚

明明的随机数处理问题分析与解决方案

明明的随机数处理问题分析与解决方案 引言问题描述解决方案数据结构设计具体步骤伪代码C语言实现详细解释读取输入去重操作排序操作输出结果复杂度分析 引言 明明生成了N个1到500之间的随机整数,我们需要对这些整数进行处理,删去重复的数字,然后进行排序并输出结果。本文将详细讲解如何通过算法、数据结构以及C语言来解决这个问题。我们将会使用数组和哈希表来实现去重操作,再利用排序算法对结果

8. 自然语言处理中的深度学习:从词向量到BERT

引言 深度学习在自然语言处理(NLP)领域的应用极大地推动了语言理解和生成技术的发展。通过从词向量到预训练模型(如BERT)的演进,NLP技术在机器翻译、情感分析、问答系统等任务中取得了显著成果。本篇博文将探讨深度学习在NLP中的核心技术,包括词向量、序列模型(如RNN、LSTM),以及BERT等预训练模型的崛起及其实际应用。 1. 词向量的生成与应用 词向量(Word Embedding)