LLM Drift(漂移), Prompt Drift Cascading(级联)

LLMs漂移

LLM 漂移是指 LLM 反应在相对较短的时间内发生的明确变化。这与LLMs本质上是不确定的或与轻微的即时工程措辞变化无关；而是对LLMs的根本性改变。

最近的一项研究发现，在四个月的时间里，GPT-4 和 GPT-3.5 的反应准确性在积极方面波动很大，但更令人担忧的是……消极方面。

研究发现，GPT-3.5 和 GPT-4 差异显着，并且在某些任务上存在性能下降。

我们的研究结果强调了持续监控LLMs行为的必要性。-来源

下图显示了四个月内模型准确性的波动。在某些情况下，弃用是相当明显的，准确率损失超过 60%。

迅速漂移

LLMs的输出是不确定的，这意味着同一LLMs在不同时间的精确输入很可能会随着时间的推移产生不同的响应。

从本质上讲，这不是问题，措辞可以不同，但​​基本事实保持不变。

然而，在某些情况下，LLMs的反应会出现偏差。例如，LLMs已被弃用，并且通常需要迁移，正如我们最近在 OpenAI 中看到的，弃用了许多模型。因此，提示保持不变，但底层模型引用发生了变化。

推理时注入提示的数据有时也可能不同。可以说，所有这些因素都会导致一种称为即时漂移的现象。

提示漂移是指由于模型更改、模型迁移或推理时提示注入数据的变化，提示随着时间的推移会产生不同响应的现象。

引起快速漂移的原因

• 受模型启发的切线
• 问题提取不正确
• LLM 的随机性和创造性的惊喜

出现了提示管理和测试接口，例如ChainForge，最近 LangChain 推出了LangSmith ，以及Vellum等商业产品。

确保在大型语言模型迁移/弃用之前可以测试生成应用程序（Gen-Apps）有明确的市场需求。

如果一个模型在很大程度上与底层的LLMs无关，那就更好了。实现这一目标的一个途径是利用大型语言模型的上下文学习 (ICL) 功能。

级联

级联是指链中的一个节点引入异常或偏差，并且这种意外异常被转移到下一个节点，在下一个节点，异常很可能会加剧。

每个节点的输出都越来越偏离预期结果。

这种现象通常称为级联。

考虑下图：

1. 在链式应用程序中，用户输入可能是意外的或未计划的，因此从节点产生不可预见的输出。
2. 前一个节点的输出可能不准确或产生一定程度的偏差，这种偏差在当前节点中会加剧。
3. 由于 LLM 具有不确定性，因此 LLM 响应也可能是意外的。第三点是可以引入即时漂移或 LLM 漂移的地方。
4. 然后节点2的输出被结转并导致偏差的级联。

结束语

不应孤立地看待即时链接，而应将即时工程视为由多个分支组成的学科。

提示 LLM 时遵循的措辞或技术也很重要，并且对输出的质量有明显的影响。

即时工程是链接的基础，即时工程的学科非常简单且易于理解。

然而，随着 LLM 领域的发展，提示正在变得可编程（通过 RAG 进行模板和上下文注入），并纳入日益复杂的结构中。

因此，链接受到代理、管道、思想链推理等元素的支持。