Causal Attention论文详解

1. 背景介绍

Causal Attention论文是一篇因果推断(causal inference)和注意力(attention)结合的一篇文章，主要用在视觉和文本结合的领域，如VQA(Visual Question Answering)视觉问答。

VQA(Visual Question Answering)视觉问答的一个基本流程如下，对输入图进行self-attn编程得到K和V的向量，从文本得到Q的向量进行Attn计算，得到填空的结果(riding)。这个过程可以看成是一个因果推断的过程，对应的示意图如下X->Z->Y，X是输入，Z是模型过程，Y是输出，箭头表示相互依赖的关系。

实际中由于训练数据中存在bias偏差会导致结果不对，比如下图，看图回答问题(在屏幕上显示的是什么运动)，由于预训练数据中Sport+Man比Sport+Screen出现次数多的话，在回答时self-attn关注点会更注意Sport+Man(即下图红框部分，导致回答错误结果为跳舞)。为此这篇论文中提出了Causal Attention的方法。

2. 详细说明

2.1 因果推断confounder

在因果推断(causal inference)中有一个概念是confounder(也有叫Confounding factor), 中文意思是干扰因子，在因果推断中表示影响推导的不可知因素，举个例子如下，药物Drug会帮助恢复Recovery，但隐藏的因素是一个人的性别Gender可能会同时影响使用什么样的药物和恢复效果。这里的性别就是confounder。

这里的推断流程从 $X\to Y$ 变为了 $X\leftarrow Z\to Y$，用 $P(y|do(x))$ 表示无偏估计的结果，也就是针对了相关的confounder因素进行了调整后的结果。公式表示如下，当且仅当没有confounder时，$P(y|do(x))=P(y|x)$ 。

$$\begin{array}{c}P(y|do(x))=\sum _{z}P(y|x,z)P(z)\end{array}$$

针对上面例子，对应的 $P(Y=recovered|do(X=givedrug))$ 等于如下：

$$\begin{array}{c}P(Y=recovered|do(X=givedrug))=P(Y=recovered|X=givedrug,Z=male)P(Z=male)+P(Y=recovered|X=givedrug,Z=female)P(Z=female)\end{array}$$

在训练过程中数据bias就是由于cofounder(这里也被称为common sense的常识)引起的，如下图，C表示常识，常识存在多种，person can ride horse是常识中的一种, X表示通过person can ride horse产生的一个图片和对应的prompt(person can ride ___)，M表示通过Faster-RCNN检测出来的物体object(person和horse), Y表示语言模型产生的推理结果person can ride horse。在训练中一个理想合法的推导是 $X\to M\to Y$，但实际中常识C也会对最终的结果Y有影响，即 $X\leftarrow C\to M\to Y$。训练中计算的是按 $P(Y|X)$，而实际中应该按 $P(Y|do(X))$ 来计算。

2.2 Causal Attention公式表示

之前的attention机制可以看成是一个前向的因果推理图(X->Z->Y)。基于这个图Causal Attention中把attention拆为两部分，一个是选择器(selector)，用于从数据X中选择合适的知识Z；另一个是推理器(predictor)，通过选择的Z去探索推理结果Y。

以VQA为例，训练集是已知的，也就是计算的可观测的P(Y|X), Z表示训练中已有的知识，由于Z可以看成是从X中抽样出来一部分数据，所以计算的部分也叫为IS-Sampling。公式如下：

在训练过程中抽样的数据集存在潜在的偏差(bias)，即Z <- X <-> Y, 需要进行修正，Z和Y之前的因果影响表示为 $P(Y|do(Z))$, X -> Z的这部分可以通过对X进行拆解为多个不同的 { x } \{x\} {x} 来表示，公式如下, x表示可能的输入，这里叫做CS-Samping。

最终公式(2)代入公式(1)得到如下结果：

2.3 Causal Attention网络实现

$P(Y|Z,X)$ 使用一个softmax层进行计算；如公式(3)所示，为了计算 $P(Y|do(X))$ 要对X和Z进行采样，但是前向代价过大，所以采用了Normalized Weighted Geometric Mean (NWGM) 的近似方法，近似后公式如下， $f(\cdot )、h(\cdot )$ 表示把输入X进行embedding后成为两个query set。

使用attention进行表示上述计算的话，In-Sample attention (IS-ATT)的结果$\hat{Z}$如下, $K_I和V_I$来自当前的输入样本，如RoI的特征；$Q_I$自于$h(X)$，在top-down attention中$q_I$为上下文的embedding，在self-attention中$q_I$也是RoI的特征。

Cross-Sample attention (CS-ATT)的结果$\hat{X}$如下，$K_C和V_C$来自训练集中的其他样本，$Q_C$自于$f(X)$。

对应的网络图如下：

2.4 Causal Attention在堆叠attention网络中的应用

2.4.1 Transformer+CATT

在transformer中encoder和decoder实现如下图，$[V_I{]}_E$ 和 $[V_C{]}_E$分别表示为IS-ATT和CS-ATT的encoder输出，$\hat{Z}$和$\hat{X}$表示IS-ATT和CS-ATT的decoder输出。

2.4.2 LXMERT+CATT

3. 参考

• Causal Attention for Vision-Language Tasks
• 论文笔记：Causal Attention for Vision-Language Tasks
• LXMERT: Learning Cross-Modality Encoder Representations from Transformers
• LXMERT
• Confounding
• Confounders: machine learning’s blindspot