本文主要是介绍运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
运动想象迁移学习系列:数据对齐（CA）
- 0. 引言
- 1. 相关工作
- 1.1 黎曼几何
- 1.2 切线空间映射
- 1.3 黎曼对齐 （RA）
- 1.4 欧几里得对齐 （EA）
- 2. 协方差矩阵质心对齐（CA）
- 3. 总结
- 欢迎来稿
论文地址：https://arxiv.org/abs/1910.05878
论文题目：Manifold Embedded Knowledge Transfer for Brain-Computer Interfaces
论文代码：https://github.com/chamwen/MEKT
0. 引言
本篇博客重点考虑数据对齐部分，因为其对后续迁移学习的效果影响非常大。
数据对齐有多种方法，如黎曼对齐(Riemannian Alignment, RA)、欧式对齐(Euclidean Alignment, EA)、标签对齐(Label Alignment, LA)、重心对齐(Centroid Alignment, CA) 等。下面重点介绍CA。
CA主要是进行协方差矩阵的质心对齐，对数据的协方差矩阵进行数据对齐操作。。。。
1. 相关工作
1.1 黎曼几何
所有 SPD 矩阵 P ∈ R C × C P∈R^{C×C} P∈RC×C 形成可微的黎曼流形。黎曼几何用于操纵它们。下面提供了一些基本定义。
两个SPD矩阵 P 1 P1 P1 和 P 2 P2 P2 之间的黎曼距离是：
δ ( P 1 , P 2 ) = ∥ log ( P 1 − 1 P 2 ) ∥ F , \begin{equation*} \delta \left ({P_{1}, P_{2}}\right)=\left \|{\log \left ({P_{1}^{-1} P_{2}}\right)}\right \|_{F},\tag{5}\end{equation*} δ(P1,P2)= log(P1−1P2) F,(5)
其中 ∥ ⋅ ∥ F \|\cdot \|_{F} ∥⋅∥F 是 Frobenius 范式，并且 log 表示特征值 P 1 − 1 P 2 P_{1}^{-1} P_{2} P1−1P2 的对数 .
{ P i } i = 1 n \{P_{i}\}_{i=1}^{n} {Pi}i=1n 的黎曼均值是：
M R = arg min P ∑ i = 1 n δ 2 ( P , P i ) , \begin{equation*} M_{R}=\arg \min _{P}\sum _{i=1}^{n}\delta ^{2}(P,P_{i}), \tag{6}\end{equation*} MR=argPmini=1∑nδ2(P,Pi),(6)
欧式均值是：
M E = 1 n ∑ i = 1 n P i , \begin{equation*} M_{E}=\frac {1}{n}\sum _{i=1}^{n} P_{i}, \tag{7}\end{equation*} ME=n1i=1∑nPi,(7)
Log欧式均值是：
M L = exp ( ∑ i = 1 n w i log P i ) , \begin{equation*} M_{L}=\exp \left ({\sum _{i=1}^{n} w_{i} \log P_{i}}\right), \tag{8}\end{equation*} ML=exp(i=1∑nwilogPi),(8)
其中， w i w_{i} wi 经常被设置为 1 n \frac{1}{n} n1
1.2 切线空间映射
切线空间映射也称为对数映射，它围绕 SPD 矩阵 M M M 映射黎曼空间 SPD 矩阵 P i P_{i} Pi 到 欧几里得切线空间向量 x i x_{i} xi ，通常是黎曼或欧几里得均值：
x i = u p p e r ( log M ( M r e f P i M r e f ) ) , \begin{equation*} \mathbf {x}_{i}=\mathrm {upper}\left ({\log _{M}\left ({M_{ref} P_{i} M_{ref}}\right)}\right), \tag{9}\end{equation*} xi=upper(logM(MrefPiMref)),(9)
其中 u p p e r upper upper 表示取 a 的上三角形部分，一个 c × c c×c c×c 的SPD矩阵形成向量 x i ∈ R 1 × c ( c + 1 ) / 2 \mathbf {x}_{i}\in \mathbb {R}^{1\times c(c+1)/2} xi∈R1×c(c+1)/2 。 M r e f M_{ref} Mref 是一个参考矩阵。为了获得与流形局部同态的切线空间， M r e f = M − 1 / 2 M_{ref}=M^{-1/2} Mref=M−1/2 是必需的。
全等变换和全余不变性是黎曼空间中的两个重要性质：
M ( F P 1 F , F P 2 F ) = F ⋅ M ( P 1 , P 2 ) ⋅ F , δ ( G ⊤ P 1 G , G ⊤ P 2 G ) = δ ( P 1 , P 2 ) , \begin{align*} \mathcal {M}\left ({F P_{1} F, F P_{2} F}\right)=&F \cdot \mathcal {M}(P_{1}, P_{2})\cdot F, \tag{10}\\ \delta \left ({G^{\top } P_{1} G, G^{\top } P_{2} G}\right)=&\delta \left ({P_{1}, P_{2} }\right), \tag{11}\end{align*} M(FP1F,FP2F)=δ(G⊤P1G,G⊤P2G)=F⋅M(P1,P2)⋅F,δ(P1,P2),(10)(11)
其中， M M M 是欧几里得或黎曼均值运算， F F F 是一个非奇异方阵，并且 G ∈ R c × c G\in \mathbb {R}^{c\times c} G∈Rc×c 是一个可逆的对称矩阵。（11）表明，如果两个SPD矩阵都左和右乘以可逆对称矩阵，则两个SPD矩阵之间的黎曼距离不会改变。
1.3 黎曼对齐 （RA）
RA首先计算一些静息（或非目标）试验的协方差矩阵， { P i } i = 1 n \{P_{i}\}^{n}_{i=1} {Pi}i=1n ，其中主体没有执行任何任务（或没有执行目标任务），然后是黎曼均值 M R M_R MR 这些矩阵，用作参考矩阵，通过以下转换来减少会话间或主题间的变化：
P i ′ = M R − 1 / 2 P i M R − 1 / 2 , \begin{equation*} P_{i}'=M_{R}^{-1/2} P_{i} M_{R}^{-1/2}, \tag{12}\end{equation*} Pi′=MR−1/2PiMR−1/2,(12)
其中 P i P_{i} Pi 是第 i i i 次试验的协方差矩阵 ， P i ′ P_{i}' Pi′ 是对应的对齐协方差矩阵。然后，所有 P i ′ P_{i}' Pi′可以通过最小均值距离 （MDM） 分类器进行分类。
1.4 欧几里得对齐 （EA）
尽管RA-MDM已经显示出良好的性能，但它仍然存在一些局限性：
1）它处理黎曼空间中的协方差矩阵，而黎曼空间分类器很少;
2）它从基于ERP的BCI中的非目标刺激中计算参考矩阵，这需要来自新受试者的一些标记试验
EA扩展了RA并通过在欧几里得空间中转换脑电图试验 X i X_i Xi解决了上述问题：
X i ′ = M E − 1 / 2 X i , \begin{equation*} X_{i}'=M_{E}^{-1/2} X_{i},\tag{13}\end{equation*} Xi′=ME−1/2Xi,(13)
其中， M E M_E ME 是所有脑电图试验协方差矩阵的欧几里得均值，计算公式为 （7）。
然而，EA 只考虑边际概率分布偏移，当 EEG 通道数量较少时效果最好。当有大量通道时，计算 M E − 1 / 2 M_E^{−1/2} ME−1/2 可能在数值上不稳定。
2. 协方差矩阵质心对齐（CA）
对齐 { X S , i } i = 1 n S \{X_{S,i}\}_{i=1}^{n_{S}} {XS,i}i=1nS 和 { X T , i } i = 1 n T \{X_{T,i}\}_{i=1}^{n_{T}} {XT,i}i=1nT 的协方差矩阵的质心，因此它们的边际概率分布是接近的。
CA作为预处理步骤，减少不同域的边际概率分布偏移，并实现从多个源域的转移。
让 P S , i = X S , i X S , i ⊤ P_{S,i}=X_{S,i}X_{S,i}^{\top } PS,i=XS,iXS,i⊤ 是第 i i i 源域中的协方差矩阵，以及 M r e f = M − 1 / 2 M_{ref}=M^{-1/2} Mref=M−1/2。其中 M M M 可以是 （6） 中的黎曼均值、（7） 中的欧几里得均值或 （8） 中的对数欧几里得均值。然后，我们将协方差矩阵对齐:
P S , i ′ = M r e f P S , i M r e f , i = 1 , … , n S \begin{equation*} P_{S,i}'=M_{ref} P_{S,i} M_{ref},\qquad i=1,\ldots,n_{S} \tag{14}\end{equation*} PS,i′=MrefPS,iMref,i=1,…,nS(14)
同样，我们可以获得对齐的协方差矩阵 { P T , i ′ } i = 1 n T \{P_{T,i}'\}_{i=1}^{n_{T}} {PT,i′}i=1nT 目标域。
CA 具有两个理想的属性：
边际概率分布偏移最小化。根据全等变换和全等不变性的性质，我们有
M ( M r e f ⊤ P 1 M r e f , … , M r e f ⊤ P n S M r e f ) = M r e f ⊤ M ( P 1 , … , P n S ) M r e f = M r e f ⊤ M M r e f = I , \begin{align*}&\hspace{-0.5pc}\mathcal M (M_{ref}^{\top }P_{1}M_{ref}, \ldots,M_{ref}^{\top }P_{n_{S}}M_{ref}) \\&= M_{ref}^{\top } \mathcal M(P_{1}, \ldots,P_{n_{S}}) M_{ref} = M_{ref}^{\top } M M_{ref}=I, \tag{15}\end{align*} M(Mref⊤P1Mref,…,Mref⊤PnSMref)=Mref⊤M(P1,…,PnS)Mref=Mref⊤MMref=I,(15)
即，如果我们选择 M M M 正如黎曼（或欧几里得）的意思，那么不同域的几何（或算术）中心都等于单位矩阵。因此，源域和目标域的边际分布在流形上更加接近。EEG trial whitening. 在下文中，我们表明每个对齐的协方差矩阵近似于 CA 之后的单位矩阵。
如果我们将参考矩阵分解为 M r e f = [ w 1 , … , w c ] M_{ref}=\begin{bmatrix}\mathbf {w}_{1}, {\dots }, \mathbf {w}_{c}\end{bmatrix} Mref=[w1,…,wc], 则 P S , i ′ P_{S,i}' PS,i′ 的 ( m , n ) (m,n) (m,n) 个元素是：
P S , i ′ ( m , n ) = w m ⊤ P S , i w n , \begin{equation*} P_{S,i}'(m,n)=\mathbf {w}_{m}^{\top } P_{S,i} \mathbf {w}_{n}, \tag{16}\end{equation*} PS,i′(m,n)=wm⊤PS,iwn,(16)
从公式(15)，可以得到：
w m ⊤ M ( P 1 , … , P n S ) w n = { 1 , m = n 0 , m ≠ n . \begin{equation*} \mathbf {w}_{m}^{\top } \mathcal M(P_{1}, \ldots,P_{n_{S}}) \mathbf {w}_{n}=\begin{cases} 1, & m=n \\ 0, & m\neq n. \end{cases}\tag{17}\end{equation*} wm⊤M(P1,…,PnS)wn={1,0,m=nm=n.(17)
无论是否，上述等式都成立 M M M 是黎曼均值，或欧几里得均值。
对于使用欧几里得均值的 CA，则第 m m m 个 对角线元素 { P S , i ′ } i = 1 n S \{P_{S,i}'\}_{i=1}^{n_{S}} {PS,i′}i=1nS 是:
1 n S ∑ i = 1 n S P S , i ′ ( m , m ) = w m ⊤ M ( P 1 , … , P n S ) w m = 1 , \begin{align*} \frac {1} {n_{S}}\sum _{i=1}^{n_{S}}P_{S,i}'(m,m) = \mathbf {w}_{m}^{\top } \mathcal M(P_{1}, \ldots,P_{n_{S}}) \mathbf {w}_{m} = 1, \\ \tag{18}\end{align*} nS1i=1∑nSPS,i′(m,m)=wm⊤M(P1,…,PnS)wm=1,
同时，对于每个对角线元素，我们有 P S , i ′ ( m , m ) = ∥ X S , i ⊤ w m ∥ 2 2 > 0 P_{S,i}'(m,m)=\| X_{S,i}^{\top } \mathbf {w}_{m} \|_{2}^{2}>0 PS,i′(m,m)=∥XS,i⊤wm∥22>0，因此对角线元素 P S , i ′ P_{S,i}' PS,i′ 约是 1。同样，对角线外的元素 P S , i ′ P_{S,i}' PS,i′ 约为 0。因此 P S , i ′ P_{S,i}' PS,i′ 近似为识别矩阵，即对齐的脑电图试验近似变白。
具有黎曼均值的 CA 是由欧几里得均值初始化的迭代过程。具有对数-欧几里得均值的CA是CA与黎曼均值的近似值，计算成本较低。因此，（18）也近似地适用于这两种均值。
3. 总结
到此，使用 数据对齐（CA） 已经介绍完毕了！！！ 如果有什么疑问欢迎在评论区提出，对于共性问题可能会后续添加到文章介绍中。
如果觉得这篇文章对你有用，记得点赞、收藏并分享给你的小伙伴们哦😄。
欢迎来稿
欢迎投稿合作，投稿请遵循科学严谨、内容清晰明了的原则！！！！ 有意者可以后台私信！！
这篇关于运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
