1. 序 在当下的 NLP 领域，BERT是一个绕不过的话题。 自从2018年底横空出世以来，它以势不可挡的态势横扫了整个GLUE榜单，将基准推进到80%的水平线，在SQuAD1.1中全部指标超越人类水平。在使用其预训练的参数后，几乎所有的下游任务都获得了相当的增益（当然，大量参数随之带来的也有运算效率的下降），自此开创了大语料无监督任务的预训练模型时代，自成一个山门，史称Bertology。