本文主要是介绍Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文是LLM系列文章,针对《Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk》的翻译。
语言模型能制造乐趣吗?中国滑稽相声个案研究
- 摘要
- 1 引言
- 2 问题定义
- 3 数据集
- 4 使用自动评估生成基准
- 5 人工评估
- 6 讨论
- 7 结论与未来工作
摘要
语言是人类交流的主要工具,幽默是其中最具吸引力的部分之一。像人类一样使用计算机生成自然语言,也就是自然语言生成(NLG),已被广泛用于对话系统、聊天机器人、文本摘要以及人工智能生成内容(AIGC),例如创意生成和脚本编写。然而,自然语言的幽默方面的研究相对较少,特别是在预训练语言模型的时代。在这项工作中,我们的目的是初步测试NLG是否能像人类一样产生幽默。我们建立了由大量中国滑稽相声剧本(简称c3)组成的最大数据集,这是自19世纪以来中国流行的表演艺术“相声”或“相声”。我们对各种生成方法进行基准测试,包括从头开始训练Seq2seq,微调的中等规模plm,以及带和不带微调的大规模plm。此外,我们还进行了人工评估,结果表明:1)大规模预训练大大提高了相声生成的质量;2)即使是最好的PLM生成的脚本也远远达不到我们的期望。我们得出结论,使用大规模plm可以极大地改善幽默生成,但它仍处于起步阶段。数据和基准测试代码可在https://github.com/ anonNo2/crosstalk-generation中公开获得。
1 引言
2 问题定义
3 数据集
4 使用自动评估生成基准
5 人工评估
6 讨论
7 结论与未来工作
在本文中,我们收集了中国相声的数据集。基于数据集,我们评估了几种现有的生成模型,包括LSTM Seq2seq、GPT、UniLM、CPM、Pangu-α、Zhouwenwang和GPT-3。这是幽默生成的初步步骤,说明大规模的预训练在很大程度上提高了相声生成的质量,但生成的脚本与人工创作的脚本之间仍然存在很大的差距。请注意,人们对相声的偏见/刻板印象存在一些担忧,例如教育背景歧视和性别偏见。在未来的工作中,我们有兴趣收集相声音频,以适应幽默的口音来促进端到端的相声生成。
这篇关于Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!