Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk

2023-10-17 05:28

本文主要是介绍Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文是LLM系列文章,针对《Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk》的翻译。

语言模型能制造乐趣吗?中国滑稽相声个案研究

  • 摘要
  • 1 引言
  • 2 问题定义
  • 3 数据集
  • 4 使用自动评估生成基准
  • 5 人工评估
  • 6 讨论
  • 7 结论与未来工作

摘要

语言是人类交流的主要工具,幽默是其中最具吸引力的部分之一。像人类一样使用计算机生成自然语言,也就是自然语言生成(NLG),已被广泛用于对话系统、聊天机器人、文本摘要以及人工智能生成内容(AIGC),例如创意生成和脚本编写。然而,自然语言的幽默方面的研究相对较少,特别是在预训练语言模型的时代。在这项工作中,我们的目的是初步测试NLG是否能像人类一样产生幽默。我们建立了由大量中国滑稽相声剧本(简称c3)组成的最大数据集,这是自19世纪以来中国流行的表演艺术“相声”或“相声”。我们对各种生成方法进行基准测试,包括从头开始训练Seq2seq,微调的中等规模plm,以及带和不带微调的大规模plm。此外,我们还进行了人工评估,结果表明:1)大规模预训练大大提高了相声生成的质量;2)即使是最好的PLM生成的脚本也远远达不到我们的期望。我们得出结论,使用大规模plm可以极大地改善幽默生成,但它仍处于起步阶段。数据和基准测试代码可在https://github.com/ anonNo2/crosstalk-generation中公开获得。

1 引言

2 问题定义

3 数据集

4 使用自动评估生成基准

5 人工评估

6 讨论

7 结论与未来工作

在本文中,我们收集了中国相声的数据集。基于数据集,我们评估了几种现有的生成模型,包括LSTM Seq2seq、GPT、UniLM、CPM、Pangu-α、Zhouwenwang和GPT-3。这是幽默生成的初步步骤,说明大规模的预训练在很大程度上提高了相声生成的质量,但生成的脚本与人工创作的脚本之间仍然存在很大的差距。请注意,人们对相声的偏见/刻板印象存在一些担忧,例如教育背景歧视和性别偏见。在未来的工作中,我们有兴趣收集相声音频,以适应幽默的口音来促进端到端的相声生成。

这篇关于Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/223221

相关文章

[Gym103960B] Fun with Stones

并不是多困难或者有趣的题,写sol仅仅是因为觉得好笑()。 题目大意 三堆石子 Nim 游戏,第 i i i 堆石子数量在 [ l i , r i ] [l_i , r_i] [li​,ri​] 中随机,求先手必胜的概率,对 1 0 9 + 7 10^9+7 109+7 取模。 l i , r i ≤ 1 0 9 l_i , r_i≤10^9 li​,ri​≤109。 题解 说人

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

UML- 统一建模语言(Unified Modeling Language)创建项目的序列图及类图

陈科肇 ============= 1.主要模型 在UML系统开发中有三个主要的模型: 功能模型:从用户的角度展示系统的功能,包括用例图。 对象模型:采用对象、属性、操作、关联等概念展示系统的结构和基础,包括类图、对象图、包图。 动态模型:展现系统的内部行为。 包括序列图、活动图、状态图。 因为要创建个人空间项目并不是一个很大的项目,我这里只须关注两种图的创建就可以了,而在开始创建UML图

速通GPT-3:Language Models are Few-Shot Learners全文解读

文章目录 论文实验总览1. 任务设置与测试策略2. 任务类别3. 关键实验结果4. 数据污染与实验局限性5. 总结与贡献 Abstract1. 概括2. 具体分析3. 摘要全文翻译4. 为什么不需要梯度更新或微调⭐ Introduction1. 概括2. 具体分析3. 进一步分析 Approach1. 概括2. 具体分析3. 进一步分析 Results1. 概括2. 具体分析2.1 语言模型

gcc make cmake例程

main.cpp文件: #include <iostream>#include "utils.h"int main(void) {int a = 1;int b = 2;int c = AddFunc(a, b);std::cout<< c <<std::endl;return 0;} utils.h文件: #pragma onceint AddFunc(int a, int b);

Study Plan For Algorithms - Part24

1. 包含min函数的栈 定义栈的数据结构,要求在该类型中实现一个 min 函数,能够获取栈的最小元素。在该栈中,调用 min、push 以及 pop 函数的时间复杂度均为 O (1)。 方法: class MinStack:def __init__(self):self.stack = []self.min_stack = [float('inf')]def push(self, x):sel

编程开发之make

make命令是GNU的工程化编译工具,用于编译众多相互关联的源代码问价,以实现工程化的管理,提高开发效率。 语法 make(选项)(参数)  选项  -f:指定“makefile”文件;  -i:忽略命令执行返回的出错信息; -s:沉默模式,在执行之前不输出相应的命令行信息;  -r:禁止使用build-in规则;  -n:非执行模式,输出所有执行命令,但并不执行;  -t:更新目

王立平--switch case

@Override public void onClick(View v) {   switch (v.getId()) { 1. case R.id.btn_addPic: break; 2. case R.id.btn_reflectPic: break; default: break; } } 如果黑色字体的break你忘记了写。。。 那么程序就会从进入swit

[论文笔记]Making Large Language Models A Better Foundation For Dense Retrieval

引言 今天带来北京智源研究院(BAAI)团队带来的一篇关于如何微调LLM变成密集检索器的论文笔记——Making Large Language Models A Better Foundation For Dense Retrieval。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 密集检索需要学习具有区分性的文本嵌入,以表示查询和文档之间的语义关系。考虑到大语言模