Training language models to follow instructions with human feedback

本文主要是介绍Training language models to follow instructions with human feedback，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Abstract

使语言模型变得更大并不意味着它们本身就能更好地遵循用户的意图。模型的输出结果可能存在以下问题

• 不真实
• 有毒
• 对用户没有帮助

即这些模型没有和用户 “对齐”（aligned）

在给定的 Prompt 分布上，1.3B 的 InstructGPT 的输出比 175B GPT-3 的输出更好（尽管参数量相差 100 多倍）。

1 Introduction

语言建模的目标：predicting the next token on a webpage from the internet

期望的目标: follow the user’s instructions helpfully and safely (Radford et al., 2019; Brown et al., 2020; Fedus et al., 2021; Rae et al., 2021; Thoppilan et al., 2022)

因此我们说语言模型的的目标 没有对齐 (misaligned)

用户意图包含两类：

这篇关于Training language models to follow instructions with human feedback的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---