https://bitbucket.org/xsc_96/curriculum-vitae/raw/37a9b84e4f21e837bc16b19b24ac26d917dab696/CV.pdf

这篇论文是23年10月提交到arxiv上的，也是用大模型蒸馏小模型的思路。 作者在这篇论文中提出了课程指令微调，大体流程如下图所示，教师模型给出一个问题，让学生模型回答一下，这时候学生回答大概率不够准确，这时候把学生的回答以及评价该问题的标准输入给教师模型，让教师模型给出一个修改后的回答，然后让学生根据修改过的回答进行微调，持续这个过程若干轮就能得到一个不错的学生模型。 作者的灵感来

辅助信息 作者未提供代码

一、概述 Motivation：直接提升PLATO的size训练不work Methods： 通过curriculum learning技术来构建一个高质量的开放领域机器人第一阶段：coarse-gained generation model：再简单的one-to-one框架下学习粗力度的回复生成模型第二阶段：精调的模型来提高多样性和选择best的回复 latent variable