teacher forcing training速览

本文主要是介绍teacher forcing training速览，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

参考:https://blog.csdn.net/qq_30219017/article/details/89090690

前言

teacher forcing不局限于rnn，序列数据都可以用。

是什么

假设模型想要预测Mary had a little lamb whose fleece was white as snow。

当模型预测到had的时候倘若预测成了shit（任意一个不是had的词），那么后面的其实会出现偏差。因为本来是had a little，会变成shit a little。

teacher forcing会强制把预测错的词用正确的代替，消除这种偏差。具体的说，假设模型出现了上述情况，在预测a little的a的时候，会强制把shit（前面模型预测错的）换成had（ground truth），来帮助模型训练。

优缺点

优点已经说了，而缺点是模型的cross-domain能力往往会降低。

这篇关于teacher forcing training速览的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---