运动想象 (MI) 迁移学习系列 (11) : MSTJM

本文主要是介绍运动想象 (MI) 迁移学习系列 (11) : MSTJM，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

运动想象迁移学习系列:MSTJM

0. 引言
1. 主要贡献
2. 提出的方法
- 2.1 CA
- 2.2 切线空间映射后的源选择
- 2.3 多源转移接头匹配
3. 实验结果
4. 消融实验
5. 总结
欢迎来稿

论文地址：https://ieeexplore.ieee.org/abstract/document/10040708
论文题目：A Multi-Source Transfer Joint Matching Method for Inter-Subject Motor Imagery Decoding
论文代码：无

0. 引言

不同受试者之间的个体差异对运动意象（MI）解码提出了巨大挑战。多源迁移学习（MSTL）是减少个体差异的最有前途的方法之一，它可以利用丰富的信息并协调不同受试者之间的数据分布。然而，MI-BCI中的大多数MSTL方法将源受试者中的所有数据合并到一个单一的混合域中，这将忽略重要样本的影响和多个源受试者的巨大差异。为了解决这些问题，我们引入了转移关节匹配，并将其改进为多源转移关节匹配（MSTJM）和加权MSTJM（wMSTJM）。与之前MI中的MSTL方法不同，我们的方法对每对受试者的数据分布进行对齐，然后通过决策融合对结果进行整合。除此之外，我们还设计了一个跨学科MI解码框架来验证这两种MSTL算法的有效性。它主要由三个模块组成：黎曼空间中的协方差矩阵质心对齐，切线空间映射后欧几里得空间中的源选择，以减少负传输和计算开销，以及通过MSTJM或wMSTJM进一步进行分布对齐。

总的来说：文中主要是为了说明每个源域单独与目标域匹配，最后再经过投票选择会取得更好的效果！！

1. 主要贡献

我们将 TJM 改进为多源方法，称为 MSTJM 和加权 MSTJM（wMSTJM）。他们可以有效地利用多个受试者的信息来克服缺乏新的受试者数据，并考虑多个来源受试者之间的巨大差异。
我们提出了一个基于 MSTJM 或 wMSTJM 的受试者间 MI-BCI框架来减少受试者间的变异性。它可以减少个体差异和与任务无关的实例的影响。此外，只需10个校准数据即可选择数据分布与目标主体相似的重要源主体。
该框架的优越性在BCI Competition IV的两个公开MI数据集上得到了验证。分类精度分别达到85.53%和82.69%，优于大多数最先进的SOTA方法。

2. 提出的方法

在这里插入图片描述
图例说明：框架概述。三角形和圆圈代表不同空间中的两类数据分布，不同的颜色代表来自不同域的主题，其中带有加号（+）的数据是与任务无关的样本，难以分类。

基于 MSTJM 的学科间 MI-BCI 框架主要由3个模块组成。在第一个模块中，我们采用CA作为预处理，以欧几里得均值为参考矩阵，对齐源和目标试验协方差矩阵的质心，可以最小化边际概率分布偏移，将脑电图白化为近似单位矩阵。第二个模块是特征切线空间映射（TSM） 之后的源选择。通过一些校准数据（十次试验）选择与目标受试者相似的源受试者。在第三个模块中，使用MSTJM或wMSTJM来减少不同主体之间的数据分布偏移以及与任务无关的实例或噪声的影响。然后，在决策阶段通过多数投票规则或加权投票规则融合多源迁移学习模型的结果。详情如下。

2.1 CA

CA的详情内容可以参考上一篇博客：运动想象 (MI) 迁移学习系列 (10) : 数据对齐（CA）
这里的协方差矩阵质心对齐采用的是欧几里得均值。

2.2 切线空间映射后的源选择

CA 之后是切线空间映射（TSM），它可以将黎曼流形上的运算转换为欧几里得切线空间。SPD 矩阵 $\mathbf {P}_{i}$ 在流形空间中，而通过使用 TSM，它将被转换为在切线空间中的向量 $\mathbf {x}_{i} \in \mathbb {R}^{d \times 1}$ ，其中 $\frac {{E \times ({E} + 1})}{2}$ .TSM 可以表示为
$\begin{align*} \mathbf {x}_{S, i}=&\mathrm {upper}\left ({\log _{M}\left ({P_{S, i}^{\prime }}\right)}\right), \quad i=1, \ldots, n_{s} \\ \mathbf {x}_{T, i}=&\mathrm {upper}\left ({\log _{M}\left ({P_{T, i}^{\prime }}\right)}\right), \quad i=1, \ldots, n_{l} \\ \mathbf {x}_{T, j}=&\mathrm {upper}\left ({\log _{M}\left ({P_{T, j}^{\prime }}\right)}\right), \quad j=1, \ldots, n_{u}. \tag{6}\end{align*}$

这里， $u pp er （ . ）$ 运算符表示在矢量化 SPD 矩阵时获取 SPD 矩阵的上三角形部分。单位权重应用于对角线元素, $\sqrt 2$ 被分配给非对角线元素。

然后，选择与目标对象相似的源对象，以避免负TL并减少计算开销。在TSM之后，可以在欧几里得空间中准确地进行源主体选择。SVM 已根据 TSM 功能进行训练 $x_S$ 来获取基本分类器的每个源主题 $H ： x S \to ys$ .矢量化校准数据 $x_{T，j}$ 用于直接通过分类精度来评估相似性。我们认为，如果模型具有较高的准确率，则源域中对应的主体可能与目标域中的主体更相似，因此在数据有限的情况下，可以将它们的数据混合作为训练样本来训练目标域的分类模型。

2.3 多源转移接头匹配

第三个模块是用于域适应的 MSTJM 或 wMSTJM 方法，它将 MSTL 和决策融合组合到一个统一的框架中，如图 2 所示。它由两个主要步骤组成：1）根据源域中的每个选定主题分别进行分布对齐;2）决策融合，对基础分类器的多个结果进行整合。MSTJM 和 wMSTJM 的区别在于决策融合过程是否考虑了不同的权重。融合前分布比对方案，而不是比对前整合，既可以考虑源主体和目标主体的差异，也可以考虑源域中不同主体的差异。
在这里插入图片描述
其中，TJM主要用来进行特征匹配。在进行特征匹配后，将目标受试者的测试数据转化为新的子空间，其分布与源域中对应的单个受试者相对一致。然后，关键问题是如何集成来自多个TL模型的测试数据的新表示。我们采用并行架构来构建源域中每个主题的基础分类器，然后通过多数投票或加权投票融合来自这些基础学习者的新测试样本的最终决策，对应于 MSTJM 和 wMSTJM。