vilbert专题

多模态之ViLBERT:双流网络,各自为王

通篇读完这个论文,需要解决如下问题: ViLBERT架构是什么样子的?ViLBERT预训练任务是什么?ViLBERT实现细节有哪些? 我之前写了两个多模态基础的文章,没看过的同学可以先看看这两个文章: 分别是 在解决多模态任务的时候需要重点解决的6个问题 和 如何把BERT的两种预训练任务扩展到多模态数据中去; 1. ViLBERT架构是什么样子的? 首先我们来聊第一个问题:ViLBER

多模态之ViLBERT:双流网络,各自为王

通篇读完这个论文,需要解决如下问题: ViLBERT架构是什么样子的?ViLBERT预训练任务是什么?ViLBERT实现细节有哪些? 我之前写了两个多模态基础的文章,没看过的同学可以先看看这两个文章: 分别是 在解决多模态任务的时候需要重点解决的6个问题 和 如何把BERT的两种预训练任务扩展到多模态数据中去; 1. ViLBERT架构是什么样子的? 首先我们来聊第一个问题:ViLBER