Are Large Language Models Really Robust to Word-Level Perturbations?

2023-10-27 03:01

本文主要是介绍Are Large Language Models Really Robust to Word-Level Perturbations?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文是LLM系列文章,针对《Are Large Language Models Really Robust to Word-Level Perturbations?》的翻译。

大型语言模型真的对单词级扰动具有鲁棒性吗?

  • 摘要
  • 1 引言
  • 2 相关工作
  • 3 合理稳健性评价的奖励模型(TREvaL)
  • 4 LLM的词级鲁棒性评价
  • 5 讨论
  • 6 结论
  • 7 局限性

摘要

大型语言模型(LLM)的规模和功能的迅速发展使其成为各种下游任务的有前途的工具。除了追求更好的性能和避免对某个提示的暴力反馈外,为了确保LLM的责任,LLM的稳健性也受到了关注。然而,现有的评估方法大多依赖于具有预定义监督标签的传统问答数据集,这与当代LLM的优越生成能力不符。为了解决这个问题,我们提出了一种新的理性评估方法,该方法利用预先训练的奖励模型作为诊断工具,来评估LLM从更具挑战性的开放问题中产生的较长对话,我们称之为合理稳健性评估的奖励模型(TREvaL)。较长的对话表明,就理解问题的熟练程度而言,他们对语言模型的全面掌握,而这一能力并不完全包含在单个单词或字母中,这可能表现出过于简单化和固有的偏见。我们广泛的经验实验表明,TREvaL为评估LLM的稳健性提供了一种创新的方法。此外,我们的研究结果表明,LLM经常表现出对日常语言使用中常见的单词级扰动的脆弱性。值得注意的是,我们惊讶地发现,随着微调(SFT和RLHF)的进行,鲁棒性往往会降低。TREvaL的代码可在https://github.com/Harry-mic/TREvaL上找到。

1 引言

2 相关工作

3 合理稳健性评价的奖励模型(TREvaL)

4 LLM的词级鲁棒性评价

5 讨论

6 结论

在本文中,我们引入了第一个开放问题基准:合理稳健性评估的奖励模型(TREvaL)来评估LLM的稳健性。我们进行了全面的实验来研究这个问题,并证明现有的LLM不够稳健是一个真实的命题。此外,我们还发现在整个微调过程中,模型的稳健性有所下降。为了验证我们的发现,我们描绘了Beaver不同阶段的景观,并证实了我们的推测。我们指出了改进SFT和RLHF训练范式以确保新LLM代的稳定性以及注意膨胀参数的影响的重要性。为了促进该领域的进一步探索,我们在GitHub Repo中开源了我们的代码和选定的数据集。

7 局限性

奖励模型奖励模型只是人类意图的一个缩影。不管奖励模型的大小,它不可避免地与人类的意图存在一定程度的偏差。然而,一个无可争议的事实仍然存在:奖励模型的能力越强,它就越能符合人类的意图。因此,我们选择尽可能大的奖励模型作为我们的评估者。然而,随着大型语言模型(LLM)的不断发展,不可避免地会出现更大、更优秀的开源奖励模型。
数据集本研究中使用的开放式问题经过仔细选择。然而,这些问题的数量及其分布仍然有限。
扰动本研究中的扰动程度分为三个层次。然而,要获得更精确的结果,就必须采用更高水平的扰动严重性。此外,单词级扰动的格式也是有限的。除了拼写错误、交换和同义词替换之外,还应该考虑其他格式。
无害鲁棒性值得注意的是,我们进行的扰动不会导致无害鲁棒性的不稳定性。其中一个原因是,扰动是为了评估有用性的稳健性,而不是使用技术来诱导模型产生毒性反应。因此,在评估无害稳健性时,我们的方法可能还不够准确和有力。随后的努力可能包括制定明确定制的攻击方法,以增强无害性的稳健性。

这篇关于Are Large Language Models Really Robust to Word-Level Perturbations?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/285904

相关文章

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

C - Word Ladder题解

C - Word Ladder 题解 解题思路: 先输入两个字符串S 和t 然后在S和T中寻找有多少个字符不同的个数(也就是需要变换多少次) 开始替换时: tips: 字符串下标以0开始 我们定义两个变量a和b,用于记录当前遍历到的字符 首先是判断:如果这时a已经==b了,那么就跳过,不用管; 如果a大于b的话:那么我们就让s中的第i项替换成b,接着就直接输出S就行了。 这样

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已

解决Office Word不能切换中文输入

我们在使用WORD的时可能会经常碰到WORD中无法输入中文的情况。因为,虽然我们安装了搜狗输入法,但是到我们在WORD中使用搜狗的输入法的切换中英文的按键的时候会发现根本没有效果,无法将输入法切换成中文的。下面我就介绍一下如何在WORD中把搜狗输入法切换到中文。

UML- 统一建模语言(Unified Modeling Language)创建项目的序列图及类图

陈科肇 ============= 1.主要模型 在UML系统开发中有三个主要的模型: 功能模型:从用户的角度展示系统的功能,包括用例图。 对象模型:采用对象、属性、操作、关联等概念展示系统的结构和基础,包括类图、对象图、包图。 动态模型:展现系统的内部行为。 包括序列图、活动图、状态图。 因为要创建个人空间项目并不是一个很大的项目,我这里只须关注两种图的创建就可以了,而在开始创建UML图

速通GPT-3:Language Models are Few-Shot Learners全文解读

文章目录 论文实验总览1. 任务设置与测试策略2. 任务类别3. 关键实验结果4. 数据污染与实验局限性5. 总结与贡献 Abstract1. 概括2. 具体分析3. 摘要全文翻译4. 为什么不需要梯度更新或微调⭐ Introduction1. 概括2. 具体分析3. 进一步分析 Approach1. 概括2. 具体分析3. 进一步分析 Results1. 概括2. 具体分析2.1 语言模型

Excel和Word日常使用记录:

Excel使用总结 表格颜色填充: 合并单元格: 选中你要合并的单元格区域。按下快捷键 Alt + H,然后松开这些键。再按下 M,接着按 C。这个组合键执行的操作是:Alt + H:打开“主页”选项卡。M:选择“合并单元格”选项。C:执行“合并并居中”操作。 插入行: 在Excel中,插入一行的快捷键是:Windows:选择整行(可以点击行号)。按下 Ctrl + Sh

word转PDF后mathtype公式乱码以及图片分辨率降低等一系列问题|完美解决

word转PDF后mathtype公式乱码以及图片分辨率降低等一系列问题|完美解决 问题描述 最近在投一篇期刊论文,直接提交word文档,当时没有查看提交预览,一审审稿意见全是:公式乱码、公式乱码、乱码啊!!!是我大意了,第二次提交,我就决定将word文档转成PDF后再提交,避免再次出现公式乱码的问题。接着问题又来了,我利用‘文件/导出’或‘文件/另存为’的方式将word转成PDF后,发现公式

【信创建设】信息系统信创建设整体技方案(word原件完整版)

信创,即“信息技术应用创新”。我国自主信息产业聚焦信息技术应用创新,旨在通过对IT硬件、软件等各个环节的重构,基于我国自有IT底层架构和标准,形成自有开放生态,从根本上解决本质安全问题,实现信息技术可掌控、可研究、可发展、可生产。信创发展是一项国家战略,也是当今形势下国家经济发展的新功能。信创产业发展已经成为各行各业数字化转型、提升产业链发展的关键。 软件全套资料部分文档清单: 工作安排任

MiniCPM-V: A GPT-4V Level MLLM on Your Phone

MiniCPM-V: A GPT-4V Level MLLM on Your Phone 研究背景和动机 现有的MLLM通常需要大量的参数和计算资源,限制了其在实际应用中的范围。大部分MLLM需要部署在高性能云服务器上,这种高成本和高能耗的特点,阻碍了其在移动设备、离线和隐私保护场景中的应用。 文章主要贡献: 提出了MiniCPM-V系列模型,能在移动端设备上部署的MLLM。 性能优越: