本文主要是介绍Finetuned Language Models Are Zero-Shot Learners,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Abstract
本文探索了一种简单的方法来提升语言模型的零样本(zero-shot)学习能力。我们发现 指令微调(instruction tuning) 显著提高了未见任务的零样本性能。
- 指令微调:即在一组通过指令描述的数据集上对模型进行微调
我们对一个 137B 参数的预训练模型在 60 个 NLP 任务上进行指令微调。这些任务通过自然语言指令模板进行表述。我们将指令微调后的模型称为 FLAN。
我们在未见任务上进行评估,发现
- FLAN 显著好于微调前的版本
- 在 20/25 个任务上超过 zero-shot 175B GPT-3
- FLAN 在 ANLI, RTE, BoolQ, AI2-ARC, OpenbookQA, StoryCloze 等任务上甚至超时 few-shot GPT-3
消融实验显示,微调数据集的大小、模型的规模、自然语言指令都是指令微调成功的关键。
1 INTRODUCTION
GPT-3 为代表的大语言模型在 few-shot 情况表现很好,但是在 zero-shot 上效果差多了。一个可能的原因是在没有 few-shot 样本时,模型很难在与预训练数据格式不相似的 Prompt 上表现良好。
针对以上问题,本文利用了 NLP 任务可以使用自然语言指令描述这一直觉,例如
- “Is the sentiment of this movie review positive or negative?”
- “Translate ‘how are you’ into Chinese.”
我们对 137B 参数的预训练模型进行指令微调,结果称为 FLAN (
这篇关于Finetuned Language Models Are Zero-Shot Learners的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!