plome专题

论文慢递2:PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction

目录 abstract方法模型结构基于混淆集的掩码策略嵌入层Encoder层Output层训练方法finetune abstract 将拼写错误知识加入到预训练掩码语言模型,使用修正混淆集来代替预测掩码,加入语音级和字形级信息来辅助模型学习纠错; 方法 模型结构 将拼音与笔画加入embedding层辅助 基于混淆集的掩码策略 相较于bert直接MASK,采用混淆