LaMDA: Language Models for Dialog Applications

本文主要是介绍LaMDA: Language Models for Dialog Applications，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Abstract

LaMDA: Language Models for Dialog Applications.

• 虽然增大模型可以提高质量，但是在 safety 和 factual grounding 方面的改进较少
• 可以通过使用标注数据微调和查询外部知识源来提升 safety 和 factual grounding
  • Safety: 使用标注数据训练一个分类器用于过滤有害内容
    • 指标：metric based on an illustrative set of human values
  • Factual grounding: 查询外部知识源，如检索系统、翻译器或者计算器
    • 指标：groundedness metric

1 Introduction

LaMDA 使用单个模型进行多项任务：

• 生成候选
• 安全过滤
• 基于外部知识源
• re-rank 以找到最佳结果

三个关键的指标：

• Quality: sensibleness，specificity，and interestingness
  • 收集标注数据，微调一个判别器来对候选进行 re-rank
• safety
  • 使用标注数据微调一个判别器，移除不安全的候选
• groundedness
  • 使用外部工作（如检索系统࿰

这篇关于LaMDA: Language Models for Dialog Applications的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---