运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA）

本文主要是介绍运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

运动想象迁移学习系列:数据对齐（CA）

0. 引言
1. 相关工作
- 1.1 黎曼几何
- 1.2 切线空间映射
- 1.3 黎曼对齐（RA）
- 1.4 欧几里得对齐（EA）
2. 协方差矩阵质心对齐（CA）
3. 总结
欢迎来稿

论文地址：https://arxiv.org/abs/1910.05878
论文题目：Manifold Embedded Knowledge Transfer for Brain-Computer Interfaces
论文代码：https://github.com/chamwen/MEKT

0. 引言

本篇博客重点考虑数据对齐部分，因为其对后续迁移学习的效果影响非常大。
数据对齐有多种方法，如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA) 等。下面重点介绍CA。

CA主要是进行协方差矩阵的质心对齐，对数据的协方差矩阵进行数据对齐操作。。。。

在这里插入图片描述

1. 相关工作

1.1 黎曼几何

所有 SPD 矩阵 $P∈R^{C×C}$ 形成可微的黎曼流形。黎曼几何用于操纵它们。下面提供了一些基本定义。

两个SPD矩阵 $P 1$ 和 $P 2$ 之间的黎曼距离是：
$\begin{equation*} \delta \left ({P_{1}, P_{2}}\right)=\left \|{\log \left ({P_{1}^{-1} P_{2}}\right)}\right \|_{F},\tag{5}\end{equation*}$

其中 $\|\cdot \|_{F}$ 是 Frobenius 范式，并且 log 表示特征值 $P_{1}^{-1} P_{2}$ 的对数 .

${P_{i}\}_{i=1}^{n}$ 的黎曼均值是：
$\begin{equation*} M_{R}=\arg \min _{P}\sum _{i=1}^{n}\delta ^{2}(P,P_{i}), \tag{6}\end{equation*}$

欧式均值是：
$\begin{equation*} M_{E}=\frac {1}{n}\sum _{i=1}^{n} P_{i}, \tag{7}\end{equation*}$

Log欧式均值是：
$\begin{equation*} M_{L}=\exp \left ({\sum _{i=1}^{n} w_{i} \log P_{i}}\right), \tag{8}\end{equation*}$

其中， $w_{i}$ 经常被设置为 $\frac{1}{n}$

1.2 切线空间映射

切线空间映射也称为对数映射，它围绕 SPD 矩阵 $M$ 映射黎曼空间 SPD 矩阵 $P_{i}$ 到 欧几里得切线空间向量 $x_{i}$ ，通常是黎曼或欧几里得均值：
$\begin{equation*} \mathbf {x}_{i}=\mathrm {upper}\left ({\log _{M}\left ({M_{ref} P_{i} M_{ref}}\right)}\right), \tag{9}\end{equation*}$

其中 $u pp er$ 表示取 a 的上三角形部分，一个 $c \times c$ 的SPD矩阵形成向量 $\mathbf {x}_{i}\in \mathbb {R}^{1\times c(c+1)/2}$ 。 $M_{ref}$ 是一个参考矩阵。为了获得与流形局部同态的切线空间， $M_{ref}=M^{-1/2}$ 是必需的。

全等变换和全余不变性是黎曼空间中的两个重要性质：
$\begin{align*} \mathcal {M}\left ({F P_{1} F, F P_{2} F}\right)=&F \cdot \mathcal {M}(P_{1}, P_{2})\cdot F, \tag{10}\\ \delta \left ({G^{\top } P_{1} G, G^{\top } P_{2} G}\right)=&\delta \left ({P_{1}, P_{2} }\right), \tag{11}\end{align*}$

其中， $M$ 是欧几里得或黎曼均值运算， $F$ 是一个非奇异方阵，并且 $G\in \mathbb {R}^{c\times c}$ 是一个可逆的对称矩阵。（11）表明，如果两个SPD矩阵都左和右乘以可逆对称矩阵，则两个SPD矩阵之间的黎曼距离不会改变。

1.3 黎曼对齐（RA）

RA首先计算一些静息（或非目标）试验的协方差矩阵， $\{P_{i}\}^{n}_{i=1}$ ，其中主体没有执行任何任务（或没有执行目标任务），然后是黎曼均值 $M_R$ 这些矩阵，用作参考矩阵，通过以下转换来减少会话间或主题间的变化：
$\begin{equation*} P_{i}'=M_{R}^{-1/2} P_{i} M_{R}^{-1/2}, \tag{12}\end{equation*}$

其中 $P_{i}$ 是第 $i$ 次试验的协方差矩阵， $P_{i}'$ 是对应的对齐协方差矩阵。然后，所有 $P_{i}'$ 可以通过最小均值距离（MDM）分类器进行分类。

1.4 欧几里得对齐（EA）

尽管RA-MDM已经显示出良好的性能，但它仍然存在一些局限性：
1）它处理黎曼空间中的协方差矩阵，而黎曼空间分类器很少;
2）它从基于ERP的BCI中的非目标刺激中计算参考矩阵，这需要来自新受试者的一些标记试验

EA扩展了RA并通过在欧几里得空间中转换脑电图试验 $X_i$ 解决了上述问题：
$\begin{equation*} X_{i}'=M_{E}^{-1/2} X_{i},\tag{13}\end{equation*}$
其中， $M_E$ 是所有脑电图试验协方差矩阵的欧几里得均值，计算公式为（7）。

然而，EA 只考虑边际概率分布偏移，当 EEG 通道数量较少时效果最好。当有大量通道时，计算 $M_E^{−1/2}$ 可能在数值上不稳定。

2. 协方差矩阵质心对齐（CA）

对齐 ${X_{S,i}\}_{i=1}^{n_{S}}$ 和 ${X_{T,i}\}_{i=1}^{n_{T}}$ 的协方差矩阵的质心，因此它们的边际概率分布是接近的。

CA作为预处理步骤，减少不同域的边际概率分布偏移，并实现从多个源域的转移。
让 $P_{S,i}=X_{S,i}X_{S,i}^{\top }$ 是第 $i$ 源域中的协方差矩阵，以及 $M_{ref}=M^{-1/2}$ 。其中 $M$ 可以是（6）中的黎曼均值、（7）中的欧几里得均值或（8）中的对数欧几里得均值。然后，我们将协方差矩阵对齐:
$\begin{equation*} P_{S,i}'=M_{ref} P_{S,i} M_{ref},\qquad i=1,\ldots,n_{S} \tag{14}\end{equation*}$

同样，我们可以获得对齐的协方差矩阵 ${P_{T,i}'\}_{i=1}^{n_{T}}$ 目标域。

CA 具有两个理想的属性：

边际概率分布偏移最小化。根据全等变换和全等不变性的性质，我们有
$\begin{align*}&\hspace{-0.5pc}\mathcal M (M_{ref}^{\top }P_{1}M_{ref}, \ldots,M_{ref}^{\top }P_{n_{S}}M_{ref}) \\&= M_{ref}^{\top } \mathcal M(P_{1}, \ldots,P_{n_{S}}) M_{ref} = M_{ref}^{\top } M M_{ref}=I, \tag{15}\end{align*}$
即，如果我们选择 $M$ 正如黎曼（或欧几里得）的意思，那么不同域的几何（或算术）中心都等于单位矩阵。因此，源域和目标域的边际分布在流形上更加接近。
EEG trial whitening. 在下文中，我们表明每个对齐的协方差矩阵近似于 CA 之后的单位矩阵。
如果我们将参考矩阵分解为 $M_{ref}=\begin{bmatrix}\mathbf {w}_{1}, {\dots }, \mathbf {w}_{c}\end{bmatrix}$ , 则 $P_{S,i}'$ 的 $(m, n)$ 个元素是：
$\begin{equation*} P_{S,i}'(m,n)=\mathbf {w}_{m}^{\top } P_{S,i} \mathbf {w}_{n}, \tag{16}\end{equation*}$
从公式(15)，可以得到：
$\begin{equation*} \mathbf {w}_{m}^{\top } \mathcal M(P_{1}, \ldots,P_{n_{S}}) \mathbf {w}_{n}=\begin{cases} 1, & m=n \\ 0, & m\neq n. \end{cases}\tag{17}\end{equation*}$
无论是否，上述等式都成立 $M$ 是黎曼均值，或欧几里得均值。

对于使用欧几里得均值的 CA，则第 $m$ 个对角线元素 ${P_{S,i}'\}_{i=1}^{n_{S}}$ 是:
$\begin{align*} \frac {1} {n_{S}}\sum _{i=1}^{n_{S}}P_{S,i}'(m,m) = \mathbf {w}_{m}^{\top } \mathcal M(P_{1}, \ldots,P_{n_{S}}) \mathbf {w}_{m} = 1, \\ \tag{18}\end{align*}$

同时，对于每个对角线元素，我们有 $P_{S,i}'(m,m)=\| X_{S,i}^{\top } \mathbf {w}_{m} \|_{2}^{2}>0$ ，因此对角线元素 $P_{S,i}'$ 约是 1。同样，对角线外的元素 $P_{S,i}'$ 约为 0。因此 $P_{S,i}'$ 近似为识别矩阵，即对齐的脑电图试验近似变白。