Author:龙箬 Computer Application Technology Change the World with Data and Artificial Intelligence ! CSDN@weixin_43975035 *天下之大，虽离家万里，何处不可往！何事不可为！ 1. ALBERT \qquad ALBERT的英文全称为A Lite version of BE

【预训练语言模型】SpanBERT: Improving Pre-training by Representing and Predicting Spans （2020ACL）   陈丹琦团队的一篇改进BERT预训练任务的工作，扩展了BERT预训练语言模型： 不像BERT只MASK单独的一个token，而是随机MASK掉连续的序列（ contiguous random span）；训练span