1. Emergence 涌现（emergence）或称创发、突现、呈展、演生，是一种现象，为许多小实体相互作用后产生了大实体，而这个大实体展现了组成它的小实体所不具有的特性。 水分子聚集后组成了雪花是一个物理上的创发现象 扩大（Scaling up）语言模型已被证明可以预测性地提高各种下游任务的性能和样本效率。 样本效率（Sample efficiency）是指学习

摘要 证明通过扩大语言模型可以可靠地提高性能和样本效率在广泛的下游任务。相反，本文讨论了我们称之为大型语言模型的新兴能力的一种不可预测的现象。我们认为如果一个能力不存在于较小的模型中，但在较大的模型中存在，则该能力就是新兴的。因此，仅仅通过外推小模型的性能无法预测新兴的能力。这种涌现的存在提出了一个问题：是否有可能进一步扩展语言模型的能力范围。 1. 简介 近年来，语言模型已经彻底改变了自然