前言 23年7月，我在朋友圈评估Google的RT2说道： “大模型正在革新一切领域啊，超帅，通过大模型不仅能理解“人话”，还能对“人话”进行推理，并转变为机器人能理解的指令，从而分阶段完成任务。回头仔细看下论文”当时便对大模型机器人印象深刻，一直想仔细研究下来着，但因为后来一直和团队忙于论文审稿GPT、企业知识库问答等项目，所以一直没抽出时间去深入研究 没成想，前几天，斯坦福的炒菜机器人火

前言 23年7月，我在朋友圈评估Google的RT2说道： “大模型正在革新一切领域啊，超帅，通过大模型不仅能理解“人话”，还能对“人话”进行推理，并转变为机器人能理解的指令，从而分阶段完成任务。回头仔细看下论文”当时便对大模型机器人印象深刻，一直想仔细研究下来着，但因为后来一直和团队忙于论文审稿GPT、企业知识库问答等项目，所以一直没抽出时间去深入研究 没成想，前几天，斯坦福的炒菜机器人火

语言是一种压缩媒介，人们通过它来提炼和传达他们对世界的知识和经验。大型语言模型（LLMs）已成为一种有前景的方法，通过将世界投影到语言空间中来捕捉这种抽象。虽然这些模型被认为在文本形式中内化了可概括的知识，但如何利用这种可概括的知识使具身代理能够在现实世界中进行物理行动仍然是一个问题。 该工作研究了将抽象语言指令（例如“摆放桌子”）与机器人行动相结合的问题。之前的研究利用词汇分析来解析指令，而最近

0. My Conclusion CoWs on PASTURE： 擅长零样本的视觉语言对象导航，主要解决了LLM辅助下的任务级动作执行任务VoxPoser： 擅长设计一些未预定义的动作轨迹，主要解决了LLM辅助下的动作轨迹设计任务Relational Pose Diffusion：擅长将已有的动作迁移变换到新场景下的动作，增强机械臂的泛化能力，主要解决了Diff模型辅助下的复杂多变的场景动作轨