论文慢递2：PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction

abstract

将拼写错误知识加入到预训练掩码语言模型，使用修正混淆集来代替预测掩码，加入语音级和字形级信息来辅助模型学习纠错；

方法

模型结构

将拼音与笔画加入embedding层辅助

基于混淆集的掩码策略

相较于bert直接MASK，采用混淆集辅助MASK，通过形近和音近字进行掩码使模型纠错有的放矢；除此之外，为了增加模型鲁棒性，还有概率进行随机掩码；为了防止模型总是倾向于纠错，也有概率维持不变；

嵌入层

通过GRU编码字音与字形信息（通过拼音与笔画）

Encoder层

基本与BERT相同

Output层

由上文中的模型结构图可知，模型对字的字形与字音均进行了预测；

• 对于字形预测，预测正确的概率为
  $$p_c(y_i=j|X)=softmax(W_c{h}_i+b_c)[j]$$
• 对于拼音预测，预测正确概率为：
  $$p_p(g_i=k|X)=softmax(W_p{h}_i+b_p)[k]$$

训练方法

分为字形与拼音损失：
$$L_c=-\sum _{i=1}^{n}log{p}_c(y_i=l_i|X)$$
$$L_p=-\sum _{i=1}^{n}log{p}_p(g_i=r_i|X)$$
训练阶段损失为：
$$L=L_c+L_p$$

finetune

训练参照训练方法，预测阶段采用两概率乘积表示该字最终概率：
$$p_j(y_i=j|X)=p_c(y_i=j|X)\times p_p(g_i=j^p|X)$$
最终联合概率分布可以表示为：（其中 $I\in R^{n_c\times n_p}$ ）
$$p_j(y_i|X)=[p_p(g_i|X)\cdot I^T]\odot p_c(y_i|X)$$