提示词工程技术：类比、后退、动态少样本、自动生成CoT

本文主要是介绍提示词工程技术：类比、后退、动态少样本、自动生成CoT，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

类比提示

“类比提示”利用类比推理的概念，鼓励模型生成自己的例子和知识，从而实现更灵活和高效的解决问题。

后退提示

“后退提示”专注于抽象，引导模型推导出高级概念和原理，进而提高其推理能力。

使用一个基本的数学问题来展示“后退提示”技术：

Original Question: If a train travels at a speed of 60 km/h and covers a distance of 120 km, how long will it take?

Options: 3 hours / 2 hours / 1 hour / 4 hours

Original Answer [Incorrect]: The correct answer is 1).

Stepback Question: What is the basic formula to calculate time given speed and distance?

Principles: To calculate time, we use the formula: Time = Distance / Speed.

Final Answer: Using the formula, Time = 120 km / 60 km/h = 2 hours. The correct answer is 2) 2 hours.

动态少样本

少样本学习—为基础模型提供几个任务和响应的示例，使模型能够迅速适应特定领域并学会遵循任务格式。有了足够的可用数据，可以为不同的任务输入选择不同的少样本示例，这种方法称为使用动态少样本示例。该方法利用一种机制根据其与待处理情况的相似度来确认示例。给定一个测试示例，使用k-NN聚类在嵌入空间中选择语义上相似的k个训练示例。具体来说，首先使用OpenAI的text-embedding-ada-002模型对候选示例进行嵌入表示以进行少样本学习。然后，对于每个测试问题x，从训练集中检索其嵌入空间中最近的k个邻居x1、x2、...、xk（根据text-embedding-ada-002的嵌入空间中的距离）。这些示例—在嵌入空间中与测试问题最相似的示例—最终被记录在提示中。

自动生成的思维链 (CoT)

思维链 (CoT) 使用自然语言语句，比如“我们一步一步地思考”，明确地鼓励模型生成一系列中间推理步骤。这种方法被发现显著提高基础模型进行复杂推理的能力。

多数投票集成

集成学习是指将多个算法的输出组合在一起，以产生比任何个别算法更好的预测性能。一种简单的技术是使用多种提示或者使用多种温度来生成单个提示，并报告集成成员中最频繁出现的答案。对于多项选择题，我们使用一种增加集成多样性的进一步技巧，称为选择打乱，即在生成每个推理路径之前打乱答案选项的相对顺序。然后选择最一致的答案，即最不受选择打乱敏感的答案，从而增加了答案的鲁棒性。