动机 基于视频的对话是非常具有挑战性的，这是因为(i)包含空间和时间变化的视频的复杂性，以及(ii)用户在视频或者多个对话轮中查询不同片段和/或不同目标的话语的复杂性。然而，现有的基于视频的对话方法往往关注于表面的时间级视觉线索，而不是从视频中获取更细粒度的空间信号。作者的方法旨在通过双向推理框架从视频中检索细粒度信息来挑战基于视频的对话来解决这一问题。与视频对话相关的任务是视频问答和视频c

动机 预训练好的语言模型在改善各种下游NLP任务方面已显示出显著的成功，这是由于它们能够在文本数据中建立依赖关系和生成自然反应。本文利用预训练好的语言模型来提高视频对话的效果。基于Transformer的预训练好的语言模型的神经结构已经被用来学习视觉-文本NLP任务的跨模态表征。它可以应用于捕捉不同类型输入模式（文本和图像）之间的各种依赖关系，并具有适当的客观损失函数。这些模型的多头attent