运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA）

本文主要是介绍运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

论文地址：https://arxiv.org/abs/1910.05878
论文题目：Manifold Embedded Knowledge Transfer for Brain-Computer Interfaces
论文代码：https://github.com/chamwen/MEKT

0. 引言

本篇博客重点考虑数据对齐部分，因为其对后续迁移学习的效果影响非常大。
数据对齐有多种方法，如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA) 等。下面重点介绍CA。

CA主要是进行协方差矩阵的质心对齐，对数据的协方差矩阵进行数据对齐操作。。。。

1. 相关工作

1.1 黎曼几何

所有 SPD 矩阵 $P\in R^{C\times C}$ 形成可微的黎曼流形。黎曼几何用于操纵它们。下面提供了一些基本定义。

两个SPD矩阵 $P1$ 和 $P2$ 之间的黎曼距离是：
$$\begin{array}{c}\delta \left(P_1,P_2\right)={\Vert \log \left(P_1^{-1}{P}_2\right)\Vert }_F,\end{array}\text{\hspace{1em}(5)}$$

其中$\Vert \cdot {\Vert }_F$ 是 Frobenius 范式，并且 log 表示特征值 $P_1^{-1}{P}_2$ 的对数 .

{ P i } i = 1 n \{P_{i}\}_{i=1}^{n} {Pi​}i=1n​ 的黎曼均值是：
$$\begin{array}{c}{M}_R=\arg \underset{P}{\min }\sum _{i=1}^n{\delta }^2(P,P_i),\end{array}\text{\hspace{1em}(6)}$$

欧式均值是：
$$\begin{array}{c}{M}_E=\frac{1}{n}\sum _{i=1}^n{P}_i,\end{array}\text{\hspace{1em}(7)}$$

Log欧式均值是：
$$\begin{array}{c}{M}_L=\exp \left(\sum _{i=1}^n{w}_i\log P_i\right),\end{array}\text{\hspace{1em}(8)}$$

其中，$w_i$ 经常被设置为 $\frac{1}{n}$

1.2 切线空间映射

切线空间映射也称为对数映射，它围绕 SPD 矩阵 $M$ 映射黎曼空间 SPD 矩阵 $P_i$ 到 欧几里得切线空间向量 $x_i$ ，通常是黎曼或欧几里得均值：
$$\begin{array}{c}{\mathbf{x}}_i=\mathrm{upper}\left({\log }_M\left(M_{ref}{P}_i{M}_{ref}\right)\right),\end{array}\text{\hspace{1em}(9)}$$

其中 $upper$ 表示取 a 的上三角形部分，一个 $c\times c$ 的SPD矩阵形成向量 ${\mathbf{x}}_i\in {\mathbb{R}}^{1\times c(c+1)/2}$ 。$M_{ref}$ 是一个参考矩阵。为了获得与流形局部同态的切线空间，$M_{ref}=M^{-1/2}$ 是必需的。

全等变换和全余不变性是黎曼空间中的两个重要性质：
$$\begin{array}{rl}\mathcal{M}\left(F{P}_{1}F,F{P}_{2}F\right)=& F\cdot \mathcal{M}(P_1,P_2)\cdot F,\\ \delta \left(G^{\top }{P}_{1}G,G^{\top }{P}_{2}G\right)=& \delta \left(P_1,P_2\right),\end{array}\text{\hspace{1em}(10)(11)}$$

其中，$M$ 是欧几里得或黎曼均值运算，$F$ 是一个非奇异方阵，并且 $G\in {\mathbb{R}}^{c\times c}$ 是一个可逆的对称矩阵。（11）表明，如果两个SPD矩阵都左和右乘以可逆对称矩阵，则两个SPD矩阵之间的黎曼距离不会改变。

1.3 黎曼对齐 （RA）

RA首先计算一些静息（或非目标）试验的协方差矩阵， { P i } i = 1 n \{P_{i}\}^{n}_{i=1} {Pi​}i=1n​ ，其中主体没有执行任何任务（或没有执行目标任务），然后是黎曼均值 $M_R$ 这些矩阵，用作参考矩阵，通过以下转换来减少会话间或主题间的变化：
$$\begin{array}{c}{P}_i^{\prime }=M_R^{-1/2}{P}_i{M}_R^{-1/2},\end{array}\text{\hspace{1em}(12)}$$

其中 $P_i$ 是第 $i$ 次试验的协方差矩阵 ， $P_i^{\prime }$ 是对应的对齐协方差矩阵。然后，所有 $P_i^{\prime }$可以通过最小均值距离 （MDM） 分类器进行分类。

1.4 欧几里得对齐 （EA）

尽管RA-MDM已经显示出良好的性能，但它仍然存在一些局限性：
1）它处理黎曼空间中的协方差矩阵，而黎曼空间分类器很少;
2）它从基于ERP的BCI中的非目标刺激中计算参考矩阵，这需要来自新受试者的一些标记试验

EA扩展了RA并通过在欧几里得空间中转换脑电图试验$X_i$解决了上述问题：
$$\begin{array}{c}{X}_i^{\prime }=M_E^{-1/2}{X}_i,\end{array}\text{\hspace{1em}(13)}$$
其中，$M_E$ 是所有脑电图试验协方差矩阵的欧几里得均值，计算公式为 （7）。

然而，EA 只考虑边际概率分布偏移，当 EEG 通道数量较少时效果最好。当有大量通道时，计算$M_E^{-1/2}$ 可能在数值上不稳定。

2. 协方差矩阵质心对齐（CA）

对齐 { X S , i } i = 1 n S \{X_{S,i}\}_{i=1}^{n_{S}} {XS,i​}i=1nS​​ 和 { X T , i } i = 1 n T \{X_{T,i}\}_{i=1}^{n_{T}} {XT,i​}i=1nT​​ 的协方差矩阵的质心，因此它们的边际概率分布是接近的。

CA作为预处理步骤，减少不同域的边际概率分布偏移，并实现从多个源域的转移。
让 $P_{S,i}=X_{S,i}{X}_{S,i}^{\top }$ 是第 $i$ 源域中的协方差矩阵，以及 $M_{ref}=M^{-1/2}$。其中 $M$ 可以是 （6） 中的黎曼均值、（7） 中的欧几里得均值或 （8） 中的对数欧几里得均值。然后，我们将协方差矩阵对齐:
$$\begin{array}{c}{P}_{S,i}^{\prime }=M_{ref}{P}_{S,i}{M}_{ref},i=1,\dots ,n_S\end{array}\text{\hspace{1em}(14)}$$

同样，我们可以获得对齐的协方差矩阵 { P T , i ′ } i = 1 n T \{P_{T,i}'\}_{i=1}^{n_{T}} {PT,i′​}i=1nT​​ 目标域。

CA 具有两个理想的属性：

1. 边际概率分布偏移最小化。根据全等变换和全等不变性的性质，我们有
   $$\begin{array}{rl}& \mathcal{M}(M_{ref}^{\top }{P}_1{M}_{ref},\dots ,M_{ref}^{\top }{P}_{n_S}{M}_{ref})\\ & =M_{ref}^{\top }\mathcal{M}(P_1,\dots ,P_{n_S})M_{ref}=M_{ref}^{\top }M{M}_{ref}=I,\end{array}\text{\hspace{1em}(15)}$$
   即，如果我们选择 $M$ 正如黎曼（或欧几里得）的意思，那么不同域的几何（或算术）中心都等于单位矩阵。因此，源域和目标域的边际分布在流形上更加接近。
2. EEG trial whitening. 在下文中，我们表明每个对齐的协方差矩阵近似于 CA 之后的单位矩阵。
   如果我们将参考矩阵分解为 $M_{ref}=\left[\begin{array}{c}{\mathbf{w}}_1,\dots ,{\mathbf{w}}_c\end{array}\right]$, 则 $P_{S,i}^{\prime }$ 的 $(m,n)$ 个元素是：
   $$\begin{array}{c}{P}_{S,i}^{\prime }(m,n)={\mathbf{w}}_m^{\top }{P}_{S,i}{\mathbf{w}}_n,\end{array}\text{\hspace{1em}(16)}$$
   从公式(15)，可以得到：
   $$\begin{array}{c}{\mathbf{w}}_m^{\top }\mathcal{M}(P_1,\dots ,P_{n_S}){\mathbf{w}}_n=\{\begin{array}{ll}1,& m=n\\ 0,& m\ne n.\end{array}\end{array}\text{\hspace{1em}(17)}$$
   无论是否，上述等式都成立 $M$ 是黎曼均值，或欧几里得均值。

对于使用欧几里得均值的 CA，则第 $m$ 个 对角线元素 { P S , i ′ } i = 1 n S \{P_{S,i}'\}_{i=1}^{n_{S}} {PS,i′​}i=1nS​​ 是:
$$\begin{array}{r}\frac{1}{n_S}\sum _{i=1}^{n_S}{P}_{S,i}^{\prime }(m,m)={\mathbf{w}}_m^{\top }\mathcal{M}(P_1,\dots ,P_{n_S}){\mathbf{w}}_m=1,\end{array}$$

同时，对于每个对角线元素，我们有 $P_{S,i}^{\prime }(m,m)=\Vert X_{S,i}^{\top }{\mathbf{w}}_m{\Vert }_2^2>0$，因此对角线元素 $P_{S,i}^{\prime }$ 约是 1。同样，对角线外的元素$P_{S,i}^{\prime }$ 约为 0。因此 $P_{S,i}^{\prime }$ 近似为识别矩阵，即对齐的脑电图试验近似变白。

具有黎曼均值的 CA 是由欧几里得均值初始化的迭代过程。具有对数-欧几里得均值的CA是CA与黎曼均值的近似值，计算成本较低。因此，（18）也近似地适用于这两种均值。

3. 总结

到此，使用 数据对齐（CA） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。

如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。

欢迎来稿

欢迎投稿合作，投稿请遵循科学严谨、内容清晰明了的原则！！！！ 有意者可以后台私信！！

这篇关于运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---