FeO Content Prediction for an Industrial Sintering Process based on Supervised Deep Belief Network

Abstract

基于应用于工业烧结过程中，监控关键质量指标非常重要，指标难以在线测量。软测量技术是一种很好地在线测量质量指标的解决方案。深度学习的非线性数据处理能力被广泛应用于软测量领域。

本文提出了一种有监督的深度置信网络（SDBN），通过每个受限玻尔兹曼机的输入变量中引入质量变量来提取软传感器的质量相关特征。

通过对一个实际工业烧结过程的实例研究，SDBN显示出比原始的深度信念网络和堆叠式自动编码器更好的预测性能。

Introduction

原因：制造过程中的多关联性和强耦合关系，在过程操作和调度中经常面临多目标、多尺度的动态优化问题。原料性质不可预知，物理机制和化学反应复杂，难以建立准确的数学模型对生产过程进行实时监控和优化。

软测量技术的基本思想：利用生产过程中容易测量的变量建立数学模型来估计难测量变量。

软测量方法分为机理建模方法和数据驱动建模方法。

1. 要求软测量设计师完全熟悉生产过程的物理化学知识。在大多数情况下，很难获得真实工业过程的精确机理模型。
2. 数据驱动方法因其在高维非线性复杂数据建模中的出色表现而成为最流行的软测量方法。

主成分回归（PCR）和偏最小二乘回归（PLSR）是最常用的线性数据驱动模型。他们在复杂的非线性工业过程中表现不佳。内核PCR、内核PLSR和人工神经网络（ANN）被开发用于建立非线性模型来处理工业过程中的非线性关系。

深度学习用于特征学习和网络训练，采用无监督分层预训练和监督微调技术，这些技术首先用于深度信念网络（DBN）。

基于深度学习的方法被广泛用于各种工业过程的质量预测和故障监测。DBN和SAE是以无监督的方式进行预训练的，它们不能保证隐藏层提取的特征与质量变量相关。实际工业过程中，输入变量和质量变量之间存在着很强的相关性，因此，将质量信息引入预训练过程以更好地学习特征是一种良好的做法。

本文提出一种用于软测量建模的有监督DBN。

1. 通过将质量变量引入RBM的可视层，设计了有监督约束的Boltzmann机器（SRBM），以指导质量相关特征的学习方向
2. 将多个SRBM分层堆叠，构造一个深度SDBN，通过逐层学习深度质量相关特征，实现质量预测。

通过这种方式，基于SDBN的软测量模型可以很大程度上提高预测性能，因为质量信息在每一层的预训练中都得到了分层利用。

提出的SDBN模型用于工业烧结过程中烧结矿质量的在线预测。

Preliminaries

DBN是由多个受限玻尔兹曼机（RBM）的堆栈，在观察数据和隐藏特征数据之间建立联合分布。DNB具有独特的预训练和微调训练技术，可以有效地建模高维非线性数据。

2.1 Restricted Boltzmann Machine

RBN的结构如图1所示，假设是时刻可见层的输入变量向量。是隐藏层的特征变量向量，分别代表可见层和隐藏层的尺寸。

RBM是一种基于能量的模型。用于质量预测时，RBM的可见层和隐藏层单元通常选用高斯单元来表示实值变量。能量函数表示：

 分别是可见单元和隐藏单元的高斯噪声的标准偏差。

 分别是可见层和隐藏层的偏置项。​是可见层单元和隐藏单元之间的权重。要训练RBM模型，需要学习能够使训练数据的概率分布的对似然最大化的模型参数，这些参数可以等效地表示为 

其中T表示训练数据集D中的总样本数，其中。

 表示第个训练样本，并且。计算样本的参数梯度

其中，表示下标分布下的数学期望。由于难以直接计算上述等式中的第二项，因此CD算法进行近似计算，以简化计算复杂度，计算结果如下

其中上标(k)表示某一项的第采样结果。

2.2 Deep Belief Network

DBN由多个RBMs的分层堆栈构成。DBN的详细结构如图2所示。

1. 对第一个RBM执行无监督的预训练。
2. 将第一个RBM的隐藏层用作下一个RBM的可见层，并且对第二个RBM重复无监督的预训练过程。

整个DBM的无监督预训练就逐步完成了，之后，将输出层添加到顶部隐藏层以用于特定任务，如分类或回归。最后用BP算法对整个网络进行有监督的微调，训练整个网络。

3.1 Supervised Restricted Boltzmann Machine

由于DBN的预训练过程仅通过RBN的隐藏单元来学习可视层的非线性特征，不能保证所学习的特征与质量变量相关联。针对这一问题，提出了有监督的RBN算法，该算法在训练前的可视层引入质量变量。SRBM的结构如图3，假设是质量变量向量。

在大多数情况下，等于1。通过引入质量变量，SRBM的能量函数可以表达为：

 其中分别是质量单元的偏差和标准差。是质量变量单元和隐藏层之间的连接权重。然后使用CD算法计算每个SRBM中参数的梯度如下：

3.2 Supervised Deep Belief Network

SDBN是通过分层堆叠多个SRBMs,向质量变量的顶部隐藏层添加一个输出层来建立的。SDBN的详细结构如图4所示：

假设SDBN中，总共有个SRBM模块。第个SRBM表示为。下标用于识别与第SRBM的术语。SDBN模型通过预训练和微调过程完成训练。预训练后，将输出层添加到顶部隐藏层，如图4中的红色圆圈。

假设是从顶部隐藏层到输出层的连接权重，是相应的偏置项。质量值的预测可以计算如下：

其中Affine是在输出层生成预测质量变量值的映射函数。为了得到一个好的预测模型，可以通过BP算法对整个网络进行微调。

通过将质量信息引入到每个SRBM中的可视层，提出的SDBN可以学习隐藏层中与质量相关的特征，从而实现软件测的改进。基于SDBN的软传感器框架主要包括预训练、微调和测试步骤。如图5所示。

 使用均方根误差（RMSE）指示符来评估所提出的SDBN的性能。RMSE计算如下：

 分别是训练和测试数据集的样本数。

 Case Studies

4.1 Sintering Process

烧结是现代炼钢工业高炉人工富铁工艺中的一项重要工艺。 烧结矿的质量直接影响生产成本和钢铁产能，因为它是炼铁的主要原料。 因此，实时监测烧结矿质量具有重要意义。 烧结过程的流程图如图 6 所示。 红土矿石、石灰等原料先混合后送入烧结台车进行烧结、破碎、冷却。 最后，烧结产品送入高炉进行熔炼。 为了在高炉中生产高质量的铁水，控制和监测烧结矿的化学成分非常重要。  FeO含量是烧结矿中一项重要的质量指标，可以反映烧结过程的生产状况。

目前，FeO的含量是通过离线实验室分析来测量的，采样频率非常低。 这种方式存在时滞大、采样频率低等问题。 为了缓解这些问题，采用软传感器技术来估算烧结矿中的 FeO 含量。 因此，选择与质量变量相关的主管和支管的温度和压力作为软传感器模型的输入变量。 这些数据是从中国的一个工业烧结过程中收集的。 数据样本为 2018 年 1 月至 10 月，每个样本的采样频率为 4 小时。 在此期间共有 1400 个数据样本。 对于模型训练和测试，前 1000 个样本用作训练数据集，后 400 个样本用作测试数据集。

4.2 Results

为了构建软传感器模型，首先要确定一些参数。通过试错法，SDBN 由两个隐藏层的网络结构确定。此外，每个隐藏层的隐藏神经元数量为 72。此外，模型训练的迭代次数为100。为了验证所提出模型的性能，还建立了相同结构的原始SAE和基于DBN的模型进行比较。三个模型的训练和测试数据集的 RMSE 结果如表 1 所示。 

可以看出，SAE 和 DBN 都具有相似的预测性能，均具有较大的 RMSE。 SDBN 可以提供比 SAE 和 DBN 更好的预测精度。这是因为 SAE 和 DBN 都是在没有任何参考质量数据的情况下进行无监督预训练的。然而，SDBN 在每个 SRBM 的预训练中使用质量变量来指导质量相关的特征学习。这样，SDBN的预测性能就大大提高了。

在预训练之后，图7显示了RMSE趋势以及微调过程中的迭代。

这里，模型训练的迭代次数设置为100。可以看出，SAE和DBN在[0.14,0.15]范围内具有微调收敛状态。然而，SDBN可以在微调损失远小于0.05的情况下实现收敛。此外，还显示了三个模型的训练和测试数据集的详细预测结果，如图8-10所示。

图8和图9表示SAE和DBN预测输出值无法在训练和测试数据集上很好地跟踪真实值。大多数数据点的预测误差非常大。将质量变量引入到烧结矿可见层中，对烧结矿中FeO含量的两个数据集均具有良好的预测性能。从图中可以清楚地看到。与SAE和DBN相比，SDBN的预测输出值可以很好地跟踪真实质量值。实际质量值和预测质量值之间的偏差很小。因此，SDBN非常适合于复杂工业过程的软测量建模。

 Conclusion

本文提出了一种新的质量图7的SDBN模型。微调预测中的RMSE曲线，由多个SRBMs的分层堆栈构建。通过将质量变量引入到原始RBM模块的可见层中，隐藏层可以学习到SRBM中与质量变量相关的特征。通过将SDBN模型应用于烧结过程中氧化亚铁含量的预测，与原始的DBN模型和SAE模型相比，SDBN模型的预测性能有了显著的提高。它为实际的工业软传感器建模提供了一种新的解决方案。