（一）《The Application of Hidden Markov Models in Speech Recognition》论文学习

ABSTRACT：

隐马尔可夫模型(HMMs)为时变谱向量序列建模提供了一个简单有效的框架。因此，目前几乎所有的大词汇量连续语音识别(LVCSR)系统都是基于HMM的。虽然基于HMM的大词汇量连续语音识别的原理很简单，但是直接应用的话，会造成非常低的准确率并且对于改变操作环境的敏感度特别差。这篇综述的目的是首先提出基于HMM的LVCSR系统的核心架构，然后描述实现最先进性能所需的各种改进。这些改进包括特征投影、改进的协方差建模、鉴别参数估计、自适应和归一化、噪声补偿和多通道系统组合。文章最后以广播新闻与新闻产业的LVCSR为例进行了分析
对话记录，以说明所描述的技巧。

INTRODUCTION:

自动连续语音识别有很多潜在的应用，包括命令、听写、转译等等。而所有语音识别系统的核心都由一组统计模型组成，这些模型代表了被识别语言的各种声音。因为语音有时序结构并且能被编码为一组横跨音频范围的谱向量的序列，隐马尔可夫模型为建造这种模型提供了一种很自然的框架。虽然过去十多年的基本框架没怎么重大变化，但是在这个框架中开发的详细建模技术已经发展的贼复杂。上世纪80年代受限于计算能力，语音识别系统停留在离散词说话者依赖的大词汇系统或者全词小词汇说话者独立应用。在九十年代初期，关注点转到了连续非特定人识别。

Architecture of an HMM-Based Recogniser：

大型连续性语音识别器最主要的组件如下图：

语音信号作为输入从麦克风被转换成固定尺寸的声学向量的序列$Y_{1:T}=y_1,y_2,...,y_T$，这个过程就是特征抽取。解码器随后寻找最佳匹配的词汇$W_{1:L}=w_1,w_2,...,w_L$的序列，生成最可能的$Y$，也就是编码器试图找到$\hat{w}=\underset{w}{\mathrm{argmax}}P(w|Y)（2.1）$。但是直接建模$P(w|Y)$很困难，使用贝叶斯规则将2.1公式转换为$\hat{w}=\underset{w}{\mathrm{argmax}}p(Y|w)P(w)（2.2）$, $P(Y|w)$的可能性由声学模型决定，$P(w)$的可能性由语言模型所决定。（在实际应用中，声学模型是不归一化的，语言模型通常是由经验确定的常数和添加一个词插入惩罚，即在对数域中，总似然被计算为$logP(Y|w)+\alpha log(P(w))+\beta |w|$，其中$\alpha$的范围通常是$8-20$，而$\beta$的范围通常是$0-20$。声学模型所代表的声音的基本单位是音素，例如，"bat"是由音素$/b//ae//t/$，英语需要这样的40个音素。对于任何给定的$w$，相应的声学模型通过连接音素模型来合成单词，如发音字典所定义的那样。这些音素模型的参数是由语音波形及其正字法转录组成的训练数据估计的。语言模型通常是一个$N-gram$模型，其中每个单词的概率只取决于它的$N-1$祖先。通过统计适当文本语料库中的$N$组来估计$N$元组参数。解码器通过使用修剪来搜索所有可能的单词序列，以删除不可能的假设，从而保持搜索的可处理性。当到达话语的末尾时，输出最有可能的词序列。另外，现代解码器可以生成包含最可能假设的紧凑表示的格。
以下部分将更详细地描述这些流程和组件：

2.1 特征提取

特征提取目的是提供一个紧凑的语音波形，这种方式应当降低识别词间的信息损失，并提供一种声学模型的分布假设的良好匹配方式。例如，如果状态输出分布使用对角协方差高斯分布，那么特征应该设计为高斯和不相关。特征向量差不多是一个$25ms$重叠的分析窗，每$10ms$计算一次。最简单和最广泛使用的编码方案之一是基于$\text{梅尔频率倒频谱系数}\text{(MFCCs)}$的编码方案。这些是通过将截断的离散余弦变换$\text{(DCT)}$应用到 对数谱估计 中生成的，该 对数谱估计 是通过平滑快速傅里叶变换$\text{(FFT)}$计算得到的，$\text{FFT}$约有20个$\text{frequency bin}$在语音谱中呈非线性分布。所使用的非线性频率尺度被称为梅尔尺度，它近似于人耳的响应，$\text{DCT}$被应用是为了平滑谱估计并且对特征元素进行近似去相关处理。余弦转换之后，第一个元素代表$\text{frequency bin}$的对数能量的平均值。有时被帧的对数能量所取代或者完全去掉。
$\text{（注释：）}$


进一步的心理声学约束被纳入到一个相关的编码中，称为知觉线性预测$(PLP)$，$PLP$从感知加权非线性压缩功率谱计算线性预测系数，然后将线性预测系数转换为倒谱系数。实践中，$PLP$比$MFCC$强一丢丢，尤其在有噪环境，因此它在很多系统中是更合适的编码选择。除了频谱系数外，一阶$(delta)$和二阶$(delta-delta)$回归系数通常被附加在摸索性的尝试中，以补偿基于$HMM$的声学模型的条件独立假设。如果原始特征向量是$y_t^s$，则$delta$参数$\Delta y_t^s$由公式2.3给出。
$$\frac{{\sum }_{i=1}^n{w}_i(y_{t+i}^s-y_{t-i}^s)}{2{\sum }_{i=1}^n{w}_i^2}.(2.3)$$
$n$是窗口的宽度，$w_i$是回归系数，$delta-delta$参数${\Delta }^2{y_t^s}^T$以同样的方式产生，但是使用不同的$delta$参数，把他们连在一起，就成了特征向量$y_t$
$$y_t={[y_t^s\Delta y_t^s{\Delta }^2{y}_t^s]}^T.(2.4)$$
最终的结果是一个特征向量，其维度数量通常在40左右，并且已经部分而不是完全去相关。

2.2 HMM声学模型 (Basic-Single Component)

如上所述，每个口语单词$w$被分解为一个序列$K_w$的基本声音，被称为基本音素。这个序列被称为发音$q_{1:K_w}^{(w)}=q_1,...,q_{K_w}$。考虑到多个发音的可能性，可以通过多个发音来计算可能性$p(Y|w)$。
$$p(Y|w)=\sum _{Q}p(Y|Q)P(Q|w)(2.5)$$
其中对w的所有有效发音序列求和，Q是一个特定的发音序列，
$$P(Q|w)=\prod _{l=1}^{L}P(q^{w_l}|w_l)(2.6)$$
其中每个$q^{(w_l)}$是词汇$w_l$的一个有效发音。在实践中，对于每个$w_l$只有非常少的替代发音，使得$(2.5)$中的求和容易处理。
每个基础音素$q$由图2.2所示形式的连续密度$HMM$表示，其转移概率参数 { a i j } \{a_{ij}\} {aij​}和输出观测分布 { b j ( ) } \{b_j ()\} {bj​()}。在操作中，$HMM$每次都从当前状态转移到其中一个连接状态。从状态$s_i$到$s_j$的特定转移概率由转移概率$a_{ij}$决定。进入状态时，使用与所进入状态相关联的分布$b_j()$生成特征向量。这种形式的过程产生了一个$HMM$的标准条件独立性假设。

• 当前状态有条件地独立于其他所有已给状态
• 观察状态有条件地独立于其他所有生成的观察状态
  更多关于$HMM$的细节请参考《 L. R. Rabiner, “A tutorial on hidden Markov models and selected applications
  in speech recognition,” Proceedings of IEEE, vol. 77, no. 2, pp. 257–286, 1989.》也可以看我的论文详解，点我传送
  输出分布假设为单多元高斯函数:
  $$b_j(y)=N(y;{\mu }^{(j)},{\sum }^{(j)})(2.7)$$
  其中${\mu }^{(j)}$是状态$s_j$的平均值并且${\sum }^{(j)}$是它的协方差。因为声学向量$y$的维度数量比较高，协方差通常转换成对角的。随后在$\text{HMM Structure Refinements}$详细讨论使用混合高斯模型的好处。
  给定由所有组成的基本音素$q^{w_1},...,q^{w_l}$拼接而成的复合$HMMQ$，则声音似然由公式2.8给出：
  $$p(Y|Q)=\sum _{\theta }p(\theta ,Y|Q)(2.8)$$
  其中$\theta ={\theta }_0,...,{\theta }_{T+1}$是一个状态序列通过合成模型得到，并且
  $$p(\theta ,Y|Q)={\alpha }_{{\theta }_0{\theta }_1}\prod _{t=1}^T{b}_{{\theta }_t}(y_t){\alpha }_{{\theta }_t{\theta }_{t+1}}(2.9)$$
  在这个等式中，${\theta }_0$和${\theta }_{T+1}$对应图2.2所示的非发射进入和退出状态，这些是为了简化连接音素模型形成单词的过程。简单起见，这些非发射状态将被忽略，关注点将聚焦于状态序列${\theta }_1,...,{\theta }_T$。
  声学模型参数 λ = [ { a i j } { b i j } ] \lambda=[\{a_{ij}\}\{b_{ij}\}] λ=[{aij​}{bij​}]可以通过大量前向算法的训练文本被有效预测，前向算法是最大期望值算法$（EM)$算法的一个例子。对于每个句子$Y^{(r)},r=1,...,R$，基本形式的序列长度$T^{(r)}$，对应话语中的单词序列$HMMs$已经发现，并且相应的复合$HMM$被建立。在算法的第一阶段，第E步，前向概率${\alpha }_t^{(rj)}=p(Y_{1:t}^{(r)},{\theta }_t=s_j;\lambda )$并且反向概率${\beta }_t^{(rj)}=p(Y_{t+1:T^{(r)}}^{(r)}|{\theta }_t=s_i;\lambda )$通过下述公式递归求得：
  $${\alpha }_t^{(rj)}=[\sum _i{\alpha }_{t-1}^{(ri)}{\alpha }_{ij}]b_j(y_t^{(r)})(2.10)$$
  $${\beta }_t^{(ri)}=[\sum _j{a}_{ij}{b}_j(y_{t+1}^{(r)}){\beta }_{t+1}^{rj}](2.11)$$其中$i$和$j$对所有状态求和。在执行这些递归时，长语音段可能会出现向下溢出，因此在实践中存储对数概率，并使用对数算法来避免这个问题（我觉得就是因为在数据量越来越大的时候，使用log可以极大的降低运算率，并且不会造成溢出）。

给定前向和反向概率，模型在t时刻任意给定话语r，占据状态$s_j$的概率为
$${\gamma }_t^{(rj)}=P({\theta }_t=s_j|Y^{(r)};\lambda )=\frac{1}{P^{(r)}}{\alpha }_t^{(rj)}{\beta }_t^{(rj)}(2.12)$$
其中$P^{(r)}=p(Y^{(r)};\lambda )$。这些状态的占用概率，也称为占用数，表示模型状态与数据的软对齐，并且它很容易证明新的高斯参数集定义为
$${\hat{\mu }}^{(j)}=\frac{{\sum }_{r=1}^R{\sum }_{t=1}^{T^{(r)}}{\gamma }_t^{(rj)}{y}_t^{(r)}}{{\sum }_{r=1}^R{\sum }_{t=1}^{T^{(r)}}{\gamma }_t^{(rj)}}(2.13)$$
$${\hat{\sum }}^{(j)}=\frac{{\sum }_{r=1}^R{\sum }_{t=1}^{T^{(r)}}{\gamma }_t^{(rj)}(y_t^{(r)}-\widehat{{\mu }^{(j)}})(y_t^{(r)}-\widehat{{\mu }^{(j)}}{)}^T}{{\sum }_{r=1}^R{\sum }_{t=1}^{T^{(r)}}{\gamma }_t^{(rj)}}(2.14)$$
在给定这些数据对齐的情况下最大似然估计。对于转移概率，可以推导出类似的再估计方程
$$\frac{{\sum }_{(r=1)}^R\frac{1}{P^{(r)}}{\sum }_{t=1}^{T^{(r)}}{\alpha }_t^{(ri)}{a}_{ij}{b}_j(y_{t+1}^r){\beta }_{t+1}^{(rj)}{y}_r^{(r)}}{{\sum }_{r=1}^R{\sum }_{t=1}^{T^{(r)}}{\gamma }_t^{(rj)}}(2.15)$$
这是算法的第二或第$M$步。从一些参数的初始化估计开始，${\lambda }^{(0)}$，$EM$算法的连续迭代得到参数集${\lambda }^{(1)},{\lambda }^{(2)},...$，这将保证将可能性提升到某个最大值。对于初始化参数${\lambda }^{(0)}$的一个通用选择是分配全局均值，数据到高斯输出分布的协方差并且设置所有转移概率相等。也就是所谓的平启动模式。

这种声学建模的方法通常被称为串珠模型，之所以这样说是因为所有的语音都是由一连串的音素模型连接在一起。这样做的主要问题是，将每个词汇分解成一系列与上下文无关的基础音素，并不能捕捉到真实语音中存在的很大程度上与上下文相关的变化。例如，$“mood”$和$“cool”$的基本形式发音会对$“oo”$使用相同的元音，但在实践中，由于前辅音和后辅音的影响，$“oo”$在两种语境中的实现是非常不同的。上下文无关的音素模型被称为单音素。

减轻这个问题的一个简单方法是对每一对可能的左右邻居使用一个单音素模型，结果模型被称为三音素，如果有$N$个基音素，就有$N^3$个潜在音素。为了避免由此产生的数据稀疏性问题，可以通过聚类并将每个聚类中的参数捆绑在一起，将完整的逻辑三音素L映射到一个简化的物理模型集$P$。映射过程如图$2.3$，参数捆绑如图$2.4$，其中$x-q+y$表示在前一个音素$x$和后一个音素$y$的上下文中与音素$q$对应的三音位。


每个基本音素发音$q$是由简单发音词典查表得到的，然后根据上下文将其映射到逻辑音素。最后将逻辑音素映射到物理模型。请注意，上下文依赖关系跨越单词边界，这对于捕捉许多重要的语音过程至关重要。例如，$“stopthat”$中的$/p/$的爆破音被后面的辅音抑制了。

逻辑模型到物理模型的聚类通常操作到状态级而不是模型级，因为这样更简单并且允许健壮地估计更大的物理模型。通常采用决策树来选择连接哪些状态。每个音素$q$的每个状态位置都有一个与之相关的二叉树。树的每个节点都带有一个关于上下文的问题。为了聚集音素$q$的状态$i$，将从$q$派生的所有逻辑模型的所有状态$i$收集到树的根节点的单个池中。根据每个节点上问题的答案，状态池将依次分割，直到所有状态都向下延伸到叶节点。然后，每个叶节点中的所有状态都被绑定成一个物理模型。每个节点上的问题都是从预先确定的集合中选择的，以最大限度地提高给定最终状态连接集的训练数据的可能性。如果状态输出分布是单分量的，在已知高斯数和状态占用数的情况下，无需参考训练数据，只需根据计数和模型参数简单计算任意节点的高斯数和状态占用数的分割所获得的似然增加。因此，使用贪婪迭代节点分割算法可以非常有效地生长决策树。图$2.5$演示了这种基于树的集群。在图中，逻辑音素$s-aw+n$和$t-aw+n$都将被分配给叶节点3，因此它们将共享具有代表性的物理模型的相同中心状态。

使用语音驱动的决策树进行状态划分有几个优点。特别是，可以很容易地合成训练数据中所需要但根本没有看到的逻辑模型。一个缺点是分区可能相当粗糙。该问题可以通过所谓“软捆绑”的方式来缓和。在这个方案中，一个后处理阶段将每个状态与它的一个或两个最近的邻居分组，并将它们所有的高斯分布集合起来。这样，在保持系统中高斯粒子总数不变的情况下，将单一高斯模型转换为混合高斯模型。

综上所述，现代语音识别器的核心声学模型通常由一组具有高斯输出分布的捆绑三态hmm组成。这个核心通常是通过以下步骤构建的：

1. 创建一个平启动单音素集，其中每个基本音素是一个单声机单高斯HMM，其均值和协方差等于训练数据的均值和协方差。
2. 使用$3$次或$4$次$EM$迭代重新估计了高斯单音素的参数。
3. 每个单独的高斯单音$q$被克隆一次，对应训练数据中出现的每个不同的三音$x-q+y$。
4. 利用$EM$重新估计训练数据三音素集合，并保存最后一次迭代的状态占用计数。
5. 为每个基音素中的每个状态创建决策树，将训练数据三音素映射为较小的绑定状态三音子集，并使用$EM$迭代重新估计。

最终的结果是所需的关联状态上下文相关的声学模型集。

2.3 N-gram语言模型

在公式$(2.2)$中所需的单词序列$w=w_1,...,w_k$的先验概率由公式$2.16$给出：
$$P(w)=\prod _{k=1}^{K}P(w_k|w_{k-1},...,w_1).(2.16)$$
对于大型词汇识别，调解词（ conditioning word，不知道翻译的对不对…）的历史$(2.16)$通常被截断为$N-1$个单词，形成$N-gram$语言模型
$$P(w)=\prod _{k=1}^{K}P(w_k|w_{k-1},w_{k-2},...,w_{k-N+1})(2.17)$$
$N$的取值范围通常是$2-4$。语言模型通常根据他的困惑度来评估的，也就是$H$，其定义为
$$\begin{array}{rl}H& =-\underset{K\to \infty }{\lim }\frac{1}{K}{\log }_2(P(w_1,...,w_{k-N+1}))\\ & \approx -\frac{1}{K}\sum _{k=1}^K{\log }_2(P(w_k|w_{k-1},w_{k-2},...,w_{k-N+1})),\end{array}$$
其中近似用于具有有限长度单词序列的N-gram语言模型。$n$元概率通过统计$n$元出现次数来估计训练文本的$n$元概率，形成最大似然$(ML)$参数估计。例如，让$C(w_{k-2}{w}_{k-1}{w}_k)$表示三个单词$w_{k-2}{w}_{k-1}{w}_k$的出现次数，同样，对于$C(w_{k-2}{w}_{k-1})$，
$$P(w_k|w_{k-1},w_{k-1})\approx \frac{C(w_{k-2}{w}_{k-1}{w}_k)}{C(w_{k-2}{w}_{k-1})}(2.18)$$
用这种简单的最大似然估计方式最大的问题是稀疏性。可以通过折扣和$backingoff$方法来缓解这个问题。例如，使用所谓的卡茨平滑法。
$$P(w_k|w_{k-1},w_{k-2})=\{\begin{array}{rcl}d\frac{C(w_{k-2}{w}_{k-1}{w}_k)}{C(w_{k-2}{w}_{k-1})}& & if0<C<C^{\prime }\\ \frac{C(w_{k-2}{w}_{k-1}{w}_k)}{C(w_{k-2}{w}_{k-1})}& & ifC>C^{\prime }\\ \alpha (w_{k-1,w_{k-2}})P(w_k|w_{k-1})& & otherwise,\end{array}(2.19)$$
其中$C^{\prime }$是计数阈值，$C$是$C(w_{k-2}{w}_{k-1}{w}_k)$的缩写，$d$是一个折扣系数，$\alpha$是标准化常数。因此当$N$元数超过某个阈值时，使用最大似然估计法。当计数较小时，使用相同的最大似然法估计，但略有折扣。然后，折现的概率质量被分配到看不见的$N-gram$中，这些$N-gram$被相应的二元图的加权版本所近似。这个想法可以递归地应用于根据一组$back-off$权并且估计任何稀疏$N-gram-(N-1)$。折扣系数基于图灵-古德估计$d=(r+1)n_{r+1}/r{n}_r$, $n_r$是训练数据中恰好出现$r$次的$N-gram$数。该方法有很多变体，例如，当训练数据非常稀疏时，$Kneser-Ney$平滑法有奇效。

鲁棒语言模型估计的另一种方法是使用基于类的模型，其中每个单词$w_k$都有一个对应的类$c_k$。那么：
$$P(w)=\prod _{k=1}^{K}P(w_k|c_k)p(c_k|c_{k-1},...,c_{k-N+1}).(2.20)$$
至于基于单词的模型，使用$ML$估计类$N-gram$概率，但由于类少得多(通常只有几百个)数据稀疏问题就小得多了。选择类本身是为了优化假定双元模型的训练集的可能性。可以看出，当一个词从一个类移到另一个类时，困惑的变化只取决于相对较少数量的双元模型。因此，可以实现一种迭代算法，反复扫描词汇表，测试每个单词，看看把它移到其他类是否会增加似然。

在实践中，我们发现，对于规模合理的训练集(通常远大于$10^7$)，针对大型词汇应用程序的有效语言模型由一个平滑的基于单词的$3$或$4gram$语言模型和一个基于类的三元组语言模型组成。

2.4 加码器和Lattice生成

正如在本节的介绍中提到的，最有可能的单词序列$\hat{w}$给出了一个特征向量序列$Y_{1:T}$是通过搜索最可能产生观测数据$Y_{1:T}$的序列中所有可能的单词序列所产生的所有可能的状态序列来得到的。动态规划是解决这一问题的有效方法。让${\varphi }_t^{(j)}={\max }_{\theta }p(Y_{1:t},{\theta }_t=s_j;\lambda )$,即,观察的最大概率部分序列$Y_{1:t}$然后在状态如果入在时间$t$给定模型参数$\lambda$。使用Viterbi算法可以有效地计算该概率。
ϕ t ( j ) = max ⁡ i { ϕ t − 1 ( i ) a i j } b j ( y t ) . ( 2.21 ) \phi_t^{(j)}=\max_i \lbrace \phi_{t-1}^{(i)}a_{ij} \rbrace b_j(y_t).\qquad(2.21) ϕt(j)​=imax​{ϕt−1(i)​aij​}bj​(yt​).(2.21)
初始化的方法是将${\varphi }_0^{(j)}$设置为1，表示初始的、非发射的、进入状态，并将所有其他状态设置为0。最可能的单词序列的概率由 max ⁡ j { ϕ T ( j ) } \max_j\lbrace \phi_T^{(j)} \rbrace maxj​{ϕT(j)​}给出，如果记录每个最大化决策，回溯将产生所需的最佳匹配状态/单词序列。

在实践中，$Viterbi$算法的直接实现连续语音会变得难以管理的复杂，因为模型的拓扑结构、语言模型的约束和需要全部被考虑到计算中。$N-gram$语言模型和交叉词三音素上下文尤其有问题，因为它们极大地扩展了搜索空间。为了解决这个问题，已经发展了许多不同的体系结构方法。对于$Viterb$译码，搜索空间可以通过并行维持多个假设来限制，也可以随着搜索的进行而动态扩展。或者，可以采用一种完全不同的方法，即用深度优先搜索取代维特比算法的宽度优先方法。这就产生了一类称为堆栈解码器的识别器。这样非常高效，但是，因为它们必须比较不同长度的假设，它们的运行时搜索特性很难控制。最后，加权有限状态传感器技术的最新进展使所有所需的信息(声学模型、发音、语言模型概率等)能够集成到一个非常大但高度优化的网络中。这种方法既灵活又高效，因此对研究和实际应用都非常有用。

虽然解码器的设计主要是为了找到$(2.21)$的解，但在实践中，不仅要生成最有可能的假设，而且要生成$N-best$的假设集，这是相对简单的。$N$通常在$100-1000$范围内。这是非常有用的，因为它允许多次传递数据，而无需从头开始重复求解$(2.21)$的计算开销。用于存储这些假设的一个紧凑而有效的结构是$wordlattice$。

$wordlattice$由一组表示时间点的节点和一组表示单词假设的跨越弧组成。如图$2.6$的$part(a)$所示。除了图中所示的单词的$ID$外，每个弧线还可以携带分数信息，如声学和语言模型分数。

$lattice$是非常灵活的。例如，它们可以通过使用它们作为输入识别网络来进行再评分，并且它们可以被扩展以允许通过更高阶的语言模型进行再打分。它们也可以被压缩成一种非常有效的表示，称为混淆网络$(confusionnetwork)$。这在图$2.6$的$part(b)$中进行了说明，$"-"$弧标签表示空转换。在混乱网络中，节点不再对应离散的时间点，而是简单地执行单词序列约束。因此，混淆网络中的平行圆弧并不一定对应于同一声段。然而，假设大部分时间重叠足以使平行的弧被认为是相互竞争的假设。混沌网络具有这样的性质:对于通过原始$lattice$的每一条路径，都存在通过混沌网络的相应路径。混淆网络的每个弧携带相应的词的后验概率$w$。这是通过求在$w$的连接概率来计算的，$lattice$使用$forward-backward$过程，对出现的所有$w$求和然后归一化，在混乱网络中所有竞争的词弧之和为$1$。混淆网络可用于最小化字误译码。

字数太多，后续我准备另分两篇文章写出来。