Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration

本文主要是介绍Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

科研相关

读论文目的：
- 目标: 完成上层任务规划
- 输入: 总任务
- 输出: n * (操作 + 参数)
论文题目：Neural Task Graphs: Generalizing to Unseen Tasks from a Single Video Demonstration
论文地址：论文地址
论文视频：视频从 23:56 开始讲这篇论文
会议官网：CVPR 2019
论文目的：在指定的域中，只有一个完成任务的视频演示，我们需要根据这个演示生成一个策略，用来完成一个没有见过的任务

Abstract

作者假定为了能借助单次演示完成复杂的任务，明确地将任务的组合结构合并到模型中是必要的
为此作者提出了 Neural Task Graph (NTG) Networks，用共轭任务图作为中间表示，对视频演示和衍生策略进行了模块化
实现的两个例子：
1. Block Stacking in BulletPhysics
2. Object Collection in AI2-THOR
NTG 通过可视化输入提高了数据效率，同时实现了强大的泛化，而不需要密集的分层监督
当应用到真实世界的数据时，类似的性能仍然存在，作者证明 NTG 能有效地预测 JIGSAWS 手术数据集上的任务结构并推广到看不见的任务

1. Introduction

直接从视频中学习，对将现有的模仿学习方法推广到真实世界场景至关重要，因为在每个视频中注释状态(如物体轨迹)是不可行的
作者关注的是 long-horizon 任务，因为现实世界的任务，如烹饪或组装，本质上是 long-horizon 长期的和 hierarchical 分层的
作者将任务结构和策略组合建模，从而将一次性视觉模仿扩展到复杂的任务
在 Visual Question Answering 和 Policy Learning 中，使用组合性建模可以获得更好的泛化效果
作者提出了 NTG 网络，这是一种以任务图作为中间表示的新框架，对视化演示和衍生策略进行了模块化
NTG 由一个 generator 生成器和一个 execution engine 执行引擎组成，其中生成器从任务演示视频中构建一个任务图来捕获任务的结构，而执行引擎与环境交互并执行任务，该任务以推断的任务图为条件
挑战：未见过的演示很容易引出训练过程中从未观察过的状态，举个例子：一个未见过的块堆叠任务的目标状态，是在训练过程中从未出现的
这篇论文的目标是在没有强大监督的情况下从视觉观察中学习，这就放大了这种挑战，这种方法模糊了状态结构，并阻止了直接分解状态空间.
虽然存在无数种可能的 state 状态，但在一个特定的域中，可能的 action 操作的数量是有限的
作者利用 state 状态和 action 动作之间的共轭关系，并提出在 Conjugate Task Graph (CTG) 共轭任务图上学习 NTG，其中节点是动作，边是状态
此外，CTG 的中间表示可以产生 yield alternate action sequences 交替动作序列来完成任务，这一特性对于在随机动力学世界中泛化看不见的场景至关重要
这使得 NTG 与以前的工作不同，以前的工作是在一个演示中直接用 options 或 actions 动作输出策略
Block Stacking in BulletPhysics 和 Object Collection in AI2-THOR 这两个任务都涉及到 multi-step planning for interaction 交互的多步骤规划，并且本质上是 compositional 组成的
本研究的主要成果有:
1. 为 task 任务和 policy representation 策略表现引入组合性，实现 long-horizon 任务的一次性视觉模仿学习;
2. 提出神经任务图 (NTG) 网络，这是一种利用任务图来捕获任务结构和目标的新框架;
3. 利用共轭任务图 (CTG) 分解视觉状态

2. Related Work

Imitation Learning 模仿学习
- 传统模仿学习：物理指导或远程操作作为演示
- 第三人称模仿学习使用来自其他 agent 观察者的数据
- NTP 和我们的工作很相似，NTP 使用强大的分层框架进行监督学习，在可视化状态时，性能明显下降
- 我们的方法减少了强监督的需要，在训练过程中只需要演示动作序列，同时提升了 25% 的成功率
Task Planning and Representations 任务规划和表现
- 传统的任务规划侧重于高级计划和低级状态空间
- 最近的工作通过深度学习整合感知，HTN 将低级子任务组合为高级抽象，以降低规划的复杂性。
- 与以前的方法不同，我们的任务图表示是 data-driven 数据驱动和 domain-agnostic 域无关的
- 我们直接从任务演示中生成节点和边
Structural Video Understanding 结构上对视频的理解
- 从演示视频生成任务图，与对视频的理解相关
- 很难获得视频中的注解，一个解决方案是使用语言作为监督，这包括教学视频，电影脚本和字幕注释
- 我们关注的是，这种结构对任务学习有什么帮助，并为所看到的任务进行注释
Compositional Models in Vision and Robotics 视觉和机器人的组合模型
- 最近的研究已经利用 compositionality 组合性来改善模型的泛化，包括 visual question answering 视觉问题回答和 policy learning 策略学习
- 作者证明了，同样的原理可以显著提高模仿学习的数据效率，使复杂任务的视觉学习成为可能

3. Problem Formulation

在这里插入图片描述

论文的目标是通过一个视频演示来学习执行一个以前看不到的任务
作者将此称为单次视觉模仿，来强调模型直接从视觉输入中学习
T: 感兴趣领域中所有任务的集合
A: 高层次的动作集合
O: 视觉观察的空间
d: 视频演示
τ: 任务
dτ = [o1, ..., oT]: 演示完成任务
Tseen: 利用很多的演示和监督进行训练
Tunseen: 利用单个演示进行测试
φ(·): 由 Tseen 训练得到的模型
πd(a|o): 基于视觉观察 o，实例化一个策略 πd(a|o)，根据演示 d，完成任务 Tunseen
问题可以描述为：将演示 d 映射到策略 φ(d) = πd(a|o)

4. Neural Task Graph Networks

在这里插入图片描述

φ(·) 被分解为 φgen(·) 和 φexe(·)
φgen(·): G = φgen(d) 根据演示 d 生成任务图 G
φexe(·): 图形执行引擎，πd = φexe(G) 执行任务图 G，作为策略 πd

4.1. Neural Task Graph Generator

应用了 conjugate task graph 共轭任务图，将 state 状态和 action 动作关联起来，节点是动作，边和当前状态相关

Conjugate Task Graph (CTG)

传统任务图 G' = {V', E'}
- V': 状态节点
- E': 节点之间的有向边，表示动作
- 成功执行任务，等同于按照图中到达目标节点路径执行一遍
- 但在高纬状态空间中，如何对未见过的任务，生成传统的任务图，是极具挑战的
因此本文提出共轭任务图 G = {V, E}
- V: 动作
- E: 状态
- 这种方法是在对操作的先决条件进行编码
- 可以绕过显式的状态建模，并仍然能够通过遍历共轭任务图来执行任务
生成节点
- 假设在训练过程中所有的动作，都是从见过的任务中观察到的，这对于相同域的任务来说是合理的
- 将观察到的动作，作为所有的节点，目标是推断出正确的边
生成边：分为两步
1. Demo Interpretation 演示解释：通过观察演示中的动作顺序，获得一个遍历共轭任务图的有效路径
2. Graph Completion 补全图：添加演示中未观察到的边（状态）
  - 虽然改变部分行为顺序可能不影响最后结果，但由于我们只有一个演示，在前面的步骤中无法得出这种互换性
  - 需要训练一个 Graph Completion Network图补全网络，除了 Demo Interpretation 已有的边，它还可以添加更多适当的边

Demo Interpreter

输入：演示 d = [o1, ..., oT]
输出：行动序列 A = [a1, ..., aK]，其中的 ai 都是在演示中执行的行动，这些 ai 也同样都是在 CTG 中的初始节点（论文中这里似乎出现了笔误，写成了 the initial edges）
作者采用了 machine translation literature 机器翻译文献中的 seq2seq 模型作为 demo interpreter 演示解释器
这里的关键是，动作序列 A 为我们的共轭任务图，提供了合理的初始动作顺序约束(边)

Graph Completion Network (GCN)

输入：Demo Interpreter 演示解释提供的行动序列 A = [a1, ..., aK]
输出：添加演示中未观察到的边
这个过程可以描述为：学习图的状态转换
Graph Completion Network (GCN) 迭代以下两步：
1. edge update 更新边
2. propagation 传播
由于这一部分涉及公式，并且有较多专有名词，直接上图

4.2. Neural Task Graph Execution

本文提出了 NTG execution engine NTG 执行引擎，通过执行任务图与环境交互
NTG execution engine 通过以下两步来执行任务图：
1. Node Localization 节点定位 ：执行引擎首先根据视觉观察，对图中的当前节点进行定位
2. Edge Classification 边分类：对于一个给定的节点，可以有多个输出边，用于转换到不同的动作。边缘分类器检查每个可能的下一步动作的(潜在的)先决条件，并选择最适合的一个
这两个步骤，可使执行引擎使用生成的共轭任务图作为反应策略，来完成任务给定的观察
由于这一部分涉及公式，并且有较多专有名词，直接上图
n: 当前节点
o: 视觉观察
l(n|o): 当前节点的定位
ϵ(a|n,o): 边分类器
π(a|o) ∝ ϵ(a|n,o)l(n|o) 边分类器根据 n 当前节点和 o 视觉观察，加上当前节点的定位，决定边转移，这等同于选择对应的下一个动作 a