DETR系列之 MDETR - Modulated Detection for End-to-End Multi-Modal Understanding 论文笔记 一、Abstract二、引言三、相关工作四、方法4.1 背景4.1.1 DETR 4.2 MDETR4.2.1 架构4.2.2 训练Soft token predictionContrastive alignment 五、实验

作者 摘要 多模态推理系统依靠预先训练的目标检测器从图像中提取感兴趣的区域。然而，这一关键模块通常被用作一个黑匣子，独立于下游任务进行训练，并使用固定的对象和属性词汇表。这使得这类系统很难捕捉以自由形式文本表达的视觉概念的长尾。在本文中，我们提出了MDETR，这是一种端到端的调制检测器，用于检测以原始文本查询为条件的图像中的对象，如标题或问题。我们使用基于转换器的架构，通过在模型的早期阶段

摘要         多模态推理依赖于一个预训练过的对象检测器来从图像中提取感兴趣的区域，然而，这个关键的模块通常作为一个黑箱，在对象和属性的固定词汇表上进行训练， 独立于下游任务。这使得捕获自由形式文本表达的视觉概念的长尾具有挑战性。本文中，我们提出MDETR，一种端到端的调制检测器，它可以检测基于原始文本查询的图像中的对象，如标题或一个问题。我们使用一个基于Transformer的结构，通过

摘要 多模态推理系统依靠预先训练的目标检测器从图像中提取感兴趣的区域。 然而，这个关键模块通常被用作黑盒，独立于下游任务，并在固定的目标和属性词汇表上进行训练。 这使得这类系统很难捕捉到以自由形式文本表达的视觉概念的长尾分布。 在本文中，我们提出了MDETR，一个端到端调制检测器，以原始文本查询(如标题或问题)为条件检测图像中的目标。 我们使用基于transformer的架构，通过在模型的早期阶

论文链接：https://arxiv.org/pdf/2101.07448.pdf. arxiv 2021 文章目录 1 Background2 Motivation3 Related Work4 Advantages/Contributions5 Method5.1. A Revisit of DETR5.2. Spatially Modulated Co-Attention 6 Exp

阅读文献： Cai, Z. G. and R. Wang (2021). "Cross-dimensional magnitude interaction is modulated by representational noise: evidence from space–time interaction." psychological research psychologische fors

原论文链接：3D3M: 3D Modulated Morphable Model forMonocular Face Reconstruction 摘要   对单个图像进行三维人脸重建是各种多媒体应用中的一项重要任务。三维人脸形状重建的一个关键挑战是在单目输入人脸和可变形网格之间建立正确的密集人脸对应关系。现有的方法大多依赖于传统方法或强先验(如多视图几何一致性)拟合的形状标签。相比之下，我们

2021 年 论文：https://arxiv.org/abs/2103.10428 code：https://openreview.net/pdf?id=sSjqmfsk95O 通过 Co-Modulated 生成对抗网络的大尺寸图像补全 文章目录 ABSTRACTINTRODUCTIONRELATED WORKCO-MODULATED GENERATIVE ADVERSARIAL