本文主要是介绍CVPR 2019 《Cross-Modal Relationship Inference for Grounding Referring Expressions》论文笔记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
目录
- 简介
- 动机
- 方法
- 实验
简介
下载链接
动机
已有方法不能准确地、一致地表示两种模态(referring expressions、object proposals)的上下文关系,具体为:
- 要么不能准确建模,要么不能达到跨模态的高阶一致性。
- 计算出的pairwise visual differences只能代表同类对象之间、instance-level的差异。
- 要么不支持关系建模,要么只考虑一阶关系。
- 由于多阶关系是结构化的信息,现有的上下文编码器无法对其建模。
方法
以regions为结点构图,将结点和word对齐,再进行图卷积。
实验
在RefCOCO、RefCOCO+和RefCOCOg上的实验结果:
Ablation study:
这篇关于CVPR 2019 《Cross-Modal Relationship Inference for Grounding Referring Expressions》论文笔记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!