本文主要是介绍A fault diagnosis method of bearings based on deep transfer learning，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
A fault diagnosis method of bearings based on deep transfer learning 基于深度迁移学习的轴承故障诊断方法
ABSTRACT
近年来，许多深度迁移学习方法被广泛应用于不同工况下的轴承故障诊断，以解决数据分布移位问题。然而，在源域数据差异较大、特征分布不一致的情况下，深度迁移学习方法在轴承故障诊断中的准确率较低，因此本文提出了一种深度多源迁移学习模型。
为了解决源域数据差异大的问题，我们使用最大平均差异(MMD)来选择合适的源域数据形成新的源域来帮助模型训练，我们使用独立的特定于域的特征提取器来提取域特征，以避免差的源域影响其他域的特征提取。
同时，使用Wasserstein距离对分类器输出进行对齐，以降低边界样本的误分类概率，并使用加权决策对较好的源域施加更大的权重。此外，针对数据分布不对齐的问题，提出了一种结合MMD、局部最大平均差异(LMMD)和三元组损失的对齐方法。实验结果表明，该模型在帕德博恩轴承故障数据集的4种工况下，准确率均达到95%以上，适用于不同工况下的轴承故障诊断。
1. Introduction
轴承是机械设备的关键部件，轴承故障将对机械设备的性能产生重大影响。据统计，根据机器的类型和尺寸，由轴承故障引起的问题约占整体问题的40%至90%[1]。因此，轴承故障诊断可以有效地保证机械设备的正常运行，因而具有现实意义。与传统机器学习模型需要人工统计特征作为输入相比，深度学习模型可以自动提取深度特征，因此在机械设备的智能诊断中更具优势。基于深度学习模型的轴承故障诊断研究比较普遍，这些研究的实验结果表明，深度学习模型具有较高的准确率[2-4]。但在实际应用中，机器会在不同的工况下运行，不同工况下数据的分布是不同的。但一般的深度学习模型不能适应数据分布的变化，模型在不同工况下的精度较低。
深度迁移学习将深度学习和迁移学习相结合，解决了数据分布移位的问题。许多研究者将深度迁移学习应用于不同工况下的轴承故障诊断。目前，机械故障诊断研究中应用最多的深度迁移学习模型有基于差异的模型和对抗模型两种。
基于差异的模型最大限度地减少了目标域和源域之间特征分布差异的损失，使两者的特征分布相似。
对抗模型通过对抗训练学习目标域和源域的混淆特征。与未使用迁移学习的深度学习模型相比，两类模型更适合于不同工况下轴承故障诊断的应用。
然而，当现有的深度迁移学习模型应用于不同工况下的轴承故障诊断时，需要解决三个问题。
首先，仅使用一种工况作为源域不足以解决不同工况下数据分布移位的问题。
其次，当不同工况数据差异较大时，一般加权模型不能获得较好的轴承故障诊断效果。
第三，现有模型不能很好地反映目标域和源域的分布。
领域级对齐方法无法实现细粒度对齐，类级对齐方法可能由于使用伪标签导致目标域和源域之间不同类的样本不对齐[5]。
为了解决这些问题，我们提出了一个深度多源迁移学习模型。本文的主要贡献如下:
(1)针对不同工况下轴承故障诊断的应用，提出了一种以多工况数据为源域数据的深度多源迁移学习模型。
(2)针对不同工况数据之间存在较大差异，本文提出的基于多特征空间自适应网络(MFSAN)[6]的模型做了以下改进:
选择与目标域分布差异较小的源域数据，并将其组合成新的源域数据，帮助模型训练;
每个源域使用独立的特定于域的特征提取器;
Wasserstein距离用于对齐分类器输出;
利用加权分类器获得诊断结果。
(3)针对分布不对齐的问题，在模型训练的前期使用MMD对齐域级分布，在模型训练的后期使用LMMD结合三元组损失实现类级对齐。
(4)利用Paderborn轴承数据集进行了大量实验，以验证所提出模型的有效性。
本文的内容组织如下:第二节介绍了与本文相关的研究工作。第3节详细描述了所提出的模型。在第4节中，使用Paderborn数据集进行实验以验证所提出模型的有效性。最后，第五部分对全文进行总结。
2. 相关工作
现有的迁移学习方法根据源域的数量可分为单源迁移学习方法和多源迁移学习方法。
在本节中，我们介绍了单源和多源迁移学习方法在机械故障诊断领域的相关工作，主要介绍了深度迁移学习的相关工作。
2.1. Single-source transfer learning
单源迁移学习的目的是在只有一个源域时，通过对特征分布进行对齐来训练模型，最后使用模型来预测目标域样本。过去主要采用传递分量分析(transfer component analysis, TCA)[7]和相关比对(correlation alignment, CORAL)[8]等浅层方法。由于深度学习在提取深度非线性特征方面的优势，深度迁移学习模型受到越来越多的关注。
基于差异的模型和对抗模型是机械故障诊断中最常用的两种模型。
基于差异的模型通过最小化数据在目标域和源域的分布距离来对齐数据分布。
MMD[9]是最著名、应用最广泛的距离函数。如[10,11]利用MMD对特征分布进行对齐，解决了机械故障诊断中数据分布移位的问题。除MMD外，CORAL[12]、联合最大平均差异(joint maximum mean difference, JMMD)[13]、LMMD[14]等也被用于跨域应用。
对抗模型通过对抗训练生成目标域和源域无法区分的特征。
例如，domain-adversarial neural network (DANN)[15]和Wasserstein distance guided representation learning (WDGRL)[16]都是基于对抗性训练。
其中**，DANN引入了梯度反转层来实现更好的对抗性训练，而WDGRL引入了Wasserstein距离来解决梯度消失问题**。
近年来，越来越多的研究人员将对抗模型应用于机械故障诊断。例如，Cheng等人利用对抗性训练对齐目标域和源域的特征分布，并证明了他们提出的模型在机械故障诊断的多源传递任务中的有效性[17]。
Wang等人利用Wasserstein距离实现域级对齐，利用三元组损失实现类级对齐，并采用对抗的方式训练模型，获得了较高的轴承故障诊断精度[18]。
然而，单源迁移学习模型只使用一个源域的数据作为输入，不能充分利用多个工况的数据。因此，我们以多工况数据为输入，提出了一种深度多源迁移学习模型。
2.2. 多源迁移学习
与单源迁移学习任务相比，多源迁移学习任务可以利用多个源域，而不是一个源域。
多源迁移学习起源于Yang等人[19]提出的自适应支持向量机(adaptive support vector machines, A-SVM)，目前已有相关理论支持。
如Blitzer等人提出了多源迁移学习的广义边界[20]，Mansour等人提出了多源域分布的加权组合优于标准的凸源组合假设[21]。
随着多源迁移学习的发展，出现了一些将深度学习与多源迁移学习相结合的深度多源迁移学习模型。
例如，Peng等人提出的多源域自适应矩匹配(M3 SDA)算法对不同源域之间以及目标域与源域之间的矩进行了对齐[22]。
Zhu等人认为现有的模型只使用一个通用的特征提取器来提取所有领域数据的特征是不合理的，它们匹配分布时没有考虑类之间特定于领域的决策边界。因此，提出了MFSAN，使用一个通用的特征提取器结合多个特定领域的特征提取器来提取特征。
该模型既匹配目标域和源域的分布，又与分类器的输出保持一致[6]。
近年来，一些研究者尝试将深度多源迁移学习模型应用于机械故障诊断。如[23,24]尝试将深度迁移学习模型应用于电厂热力系统故障诊断。[25-27]尝试将深度迁移学习模型应用于滚珠丝杠故障诊断。
同时，滚动轴承是旋转机械的重要部件[28]，深度迁移学习模型在轴承故障诊断中的研究最为广泛。例如，Rezaeianjouybari等人提出了一种用于轴承故障诊断的深度多源迁移学习框架，该框架利用MMD实现特征级对齐，利用Wasserstein距离切片实现任务级对齐[29]。
Zhu 等人利用多域判别器混淆目标域和源域的数据特征，通过对抗训练得到最终模型，从而实现不同机器之间的故障诊断转移任务。 模型用于轴承故障诊断。
与其他深度多源迁移学习模型相比，这些模型的不同之处在于它们服务于机械故障诊断应用，并已通过故障数据集进行了验证。
我们模型是针对多源域数据在不同工况下的轴承故障诊断而设计的。针对实际应用中存在的源域数据差异大、目标域与源域分布不一致等问题，提出了一种解决方案。
3. Proposed method
轴承变工况故障诊断本质上是一个领域自适应问题。将多个工况的数据作为源域。假设有K个源域，记为
，每个域有n1, n2，…!， nK标记样品。以源域Dsk为例，Dsk包含nk个带标签的样本，表示
。将另一种工况的数据作为目标域Dt, Dt包含m个未标记的样本，记为
。源域数据和目标域数据的分布不一致。
此外,任务的目标域和源域是对轴承故障进行分类,和源域和目标域有相同的标签空间和健康状况类的数目是
。
在不同条件下轴承故障诊断的目的是获得一个模型与标签训练基于多源域和目标域没有标签,最后,使用训练模型来预测目标的数据域。
我们的模型的整体过程如图1所示，分为两个阶段。
在第一阶段，为了增加数据的多样性和更好地加权源域，我们首先计算目标域数据与每个源域数据之间的权值，然后通过权值选择与目标域数据接近的源域数据，形成新的源域，以帮助模型训练。
第二阶段包括模型构建、模型训练和模型测试。
在模型构建过程中，对每个源域使用独立的特定于域的特征提取器，避免了差的源域对其他源域特征的负面影响。
在模型训练过程中，通过最小化源域数据的分类损失、分布对齐损失和分类器输出对齐损失来更新模型参数。为了降低分布不对齐的概率，结合MMD、LMMD和三重态损失来计算模型训练过程中的分布对齐损失。
为了提高边界样本的识别率，我们的模型的分类器输出通过Wasserstein距离对齐。
在模型测试过程中，对分类器进行MMD加权，以便对更好的源域施加更多的权重。
3.1. Data preprocessing
目标域数据与不同源域数据之间存在不同程度的相关性，特别是当不同源域数据差异较大时。
在本文中，MMD用于计算目标域数据与源域数据之间的相关性。
目标域数据与源域数据之间的MMD值越小，表示它们之间的相关性越大。
因此，MMD值越小的源域数据对目标域的影响越大，应给予源域数据更大的权重。
因此，如Eq.(1)所示，通过对MMD值进行反求得到目标域与源域的相关性。最后，利用式(2)计算每个源域的权值。
其中
为目标域
与源域
之间的相关关系。MMD(⋅)为MMD的计算公式。
为源域Dsi的数据。xt是目标域
的数据。
为源域的个数，wi为源域的权值Dsi。
选取权重较高的源域，随机选取相同比例的源域样本组成新的源域。如图2所示，假设有4个源域数据，分别为源域数据1、源域数据2、源域数据3、源域数据4。Eq.(1)和Eq.(2)用于计算目标域数据与四个源域数据之间的权重。假设源域数据4的权重远小于其他源域数据的权重，因此我们放弃源域数据4。然后随机抽取源域数据1、源域数据2、源域数据3三分之一的数据，组合成混合工况数据。将混合工况数据作为一个新的源域来训练模型
新的源域数据有利于提取共同特征，增加数据多样性。
此外，在生成新的源域数据时，会剔除与目标域数据差异较大的源域数据，从而给予更接近目标域的源域更多的权重。
因此，新的源域数据可以缓解不同源域之间存在较大差异的问题。
3.2. Model construction, training, and testing
3.2.1. Model construction
本文构建的模型总体框架如图3所示。整个模型由几个特定领域的特征提取器和分类器组成。
当每个源域的数据差异较大时，某些源域与目标域的数据分布差异较大。
如果使用公共特征提取器，则会受到源域数据与目标域数据分布差异较大的负面影响，从而降低模型的整体精度。因此，在我们的模型中，对每个源域数据使用独立的特征提取器和分类器。
3.2.2. Model training
模型训练的目的是使总损失最小化，使模型能够在目标域中区分测试样本的故障类别。
该模型的总损失包括分类损失、分布对齐损失和分类器输出对齐损失。
(1) Classification loss
源域和目标域的分类任务都是预测轴承故障的类别。
因此，源域数据可以为目标域数据的分类提供信息，由源域标记数据训练的分类器对目标域数据的故障分类起到一定的识别作用。Eq.(3)为源域数据分类损失的计算公式。
其中
为源域
样本
通过特征提取器
和分类器
的分类概率。
ysi为Dsi的训练样本标签。ni为Dsi的训练样本个数，c为故障类型个数。Pb是表示为b的类的实际类，qb是b的概率。
(2) Distribution alignment loss
目前，广泛使用的分布对齐方法大致可分为领域级对齐和类级对齐。
域级对齐方法对齐目标域和源域之间的全局分布，但它们不能实现细粒度对齐。
类级对齐方法是基于目标域数据的伪标签实现的，但是当引入不正确的伪标签时，可能会导致目标域和源域之间的每个类不对齐。因此，领域级对齐方法以及类级对齐方法都可能存在分布不对齐的问题。本文提出了一种结合MMD、LMMD和三重态损耗的对准方法。
在模型训练的前期，使用MMD对目标域数据和源域数据的全局分布进行对齐，如Eq.(4)所示。
其中Fi(xsi)为特征提取器Fi得到的源域Dsi的训练样本xsi的特征，Fi(xt)为特征提取器Fi得到的目标域Dt的训练样本xt的特征。
如图4所示，当对源域和目标域同一类的样本进行聚类，并对源域数据和目标域数据的分布进行对齐时，对齐方法可以很好地实现目标域数据和源域数据的对齐。
利用源域的标记数据对模型进行训练，可以实现源域同一类数据的聚合。
三元组损失可用于聚合相同类的目标域样本，而LMMD可用于对齐目标域和源域之间的分布。
因此，在模型训练的后期，使用LMMD和三重态损失来对齐目标域数据和源域数据之间的分布
LMMD损耗计算公式见式(5)，三重态损耗计算公式见式(6)。
其中
为目标域训练数据的伪标签。N为三元组个数，F(⋅)为特征提取器F得到的特征，
为锚点样本，
为正样本，
为负样本，α为正、负样本对的边界距离。
利用目标域数据的伪标签计算LMMD损耗和三元组损耗。如Eq.(7)所示，所使用的伪标签是由所有分类器联合决策得到的伪标签。
由于模型早期训练后域级分布大致对齐，并且所有分类器获得的伪标签比单个分类器获得的伪标签更准确，因此模型训练后期的伪标签具有较高的置信度。
因此，LMMD损失结合模型训练后期的三联体损失可以缓解目标域数据伪标签错误导致的分布不一致的负面影响。
其中yt ~为目标域训练数据的伪标签，K为源域的个数，wi为源域的权值Dsi。
因此，分布对齐损失的计算公式如式(8)所示。在模型训练的早期，使用MMD对域级分布进行对齐。在t个epoch之后，使用LMMD和三元组损失对类级分布进行对齐。
(3) Classifier output alignment loss
Zhu等[6]提出不同的分类器在预测边界附近的目标域样本时可能会产生不同的结果，因此利用L1距离对各个分类器的输出进行对齐，以提高边界样本的识别率。
当不同的源域差异很大时，每个分类器的输出差异很大，在决策边界附近有很多目标域样本容易被误分类。
分类器输出的对齐可以提高决策边界附近目标域样本的识别精度。
由于Wasserstein距离可以有效地计算分类器输出概率之间的距离，即使两个概率分布之间没有重叠。
因此，本文使用Wasserstein距离来计算分类器输出对齐损失，如Eq.(9)所示。
综上所述，我们模型的总损失包括分类损失、分布对齐损失和分类器输出对齐损失，如Eq.(10)所示。
其中γ为分布损失的权衡超参数，λ为分类器输出对齐损失的权衡超参数。
3.2.3. Model testing
模型训练后得到最终模型，可用于预测测试样本的故障类别。
由于源域的差异很大，各个分类器得到的分类概率可能相差很大。
为了减少源域数据与目标域数据差异较大的负面影响，在预测测试数据的故障类别时，对每个特定域的分类器进行加权。
在模型测试期间，更多的权重被应用到较好的源域，而较少的权重被应用到较差的源域。
在3.1节中，MMD用于计算每个源域相对于目标域的权重。由于权重可以衡量每个源域和目标域之间的分布差异，因此所有分类器都使用该权重进行加权。将计算出的权值对每个分类器的输出概率进行加权，得到目标域中测试数据的分类结果，如Eq.(11)所示。
其中xt '为目标域的测试数据，yt '为决策结果。
所提方法的细节见算法1。
4. Experiments
4.1. 数据集简介
本文实验部分使用的是Paderborn轴承数据集[38]。数据采集的实验平台如图5所示，采样频率为64K。
帕德博恩数据集的数据来自三种类型的轴承，即正常轴承，人为损坏的轴承和加速寿命设备损坏的轴承，包括振动数据和电机电流信号。本文利用4个故障轴承和1个正常轴承的振动数据进行了实验。四种类型的轴承故障在损伤位置和损伤程度上有所不同，振动数据的详细情况如表1所示。
为了验证所提模型在不同工况下轴承故障诊断中的应用效果，采用了四种工况的数据，如表2所示。这四种工况的数据在三个方面是不同的，包括转速、负载扭矩和径向力。四种工况分别标为A、B、C、D。在我们的实验中，这三个域作为源域，剩下的一个域作为目标域。
这篇关于A fault diagnosis method of bearings based on deep transfer learning的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
