调用GPT3接口的一些参数

本文主要是介绍调用GPT3接口的一些参数，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

GPT3接口

官方文档 API Reference

调用

temperature

通过设置合适的 temperature 值和观察每个 token 的概率，判断输出的确定性和可靠性，避免与直觉不符的结果。
在实际应用中，这两个参数非常有价值。聊天应用可设置较高 temperature 值，增加多样性；回答科学问题可设置较低 temperature 值，避免错误信息。

logprobs

使用 Chat Completions API 的 logprobs 和 top_logprobs 参数来获取输出 tokens 的概率信息，以及如何利用这些信息来实现不同的应用场景。
logprobs 参数的作用：logprobs 参数可以让 API 返回每个输出 token 的对数概率，以及每个 token 位置的最有可能的几个候选 tokens 及其对数概率。这些信息可以帮助用户评估模型的置信度，探索模型的备选响应，计算输出序列的整体概率，以及处理特殊字符或表情符号等。
logprob 可以是任何负数或 0.0，0.0 对应于 100% 概率。
logprobs 参数的用例：logprobs 参数可以用于多种场景，例如：
分类任务：logprobs 参数可以提供每个类别预测的概率，让用户可以设置自己的分类或置信阈值。
检索任务：logprobs 参数可以用于自我评估检索内容是否包含足够的信息来回答问题，从而减少基于检索的幻觉和提高准确性。
自动完成任务：logprobs 参数可以用于动态地推荐下一个单词或 token，但只在模型对下一个单词很有把握的时候。
bytes 参数的作用：bytes 参数可以返回每个输出 token 的 ASCII（十进制 utf-8）值，这些值可以用于编码和解码每个 token，特别是包含表情符号或特殊字符的 token。

from openai import OpenAI
client = OpenAI()completion = client.chat.completions.create(model="gpt-3.5-turbo",#使用适当的引擎，也可以是其他的GPT-3引擎messages=[{"role": "user", "content": "Hello!"}],logprobs=True,#得到对数概率top_logprobs=2
)print(completion.choices[0].message)
print(completion.choices[0].logprobs)

响应

{"id": "chatcmpl-123","object": "chat.completion","created": 1702685778,"model": "gpt-3.5-turbo-0613","choices": [{"index": 0,"message": {"role": "assistant","content": "Hello! How can I assist you today?"},"logprobs": {"content": [{"token": "Hello","logprob": -0.31725305,"bytes": [72, 101, 108, 108, 111],"top_logprobs": [{"token": "Hello","logprob": -0.31725305,"bytes": [72, 101, 108, 108, 111]},{"token": "Hi","logprob": -1.3190403,"bytes": [72, 105]}]},{"token": "!","logprob": -0.02380986,"bytes": [33],"top_logprobs": [{"token": "!","logprob": -0.02380986,"bytes": [33]},{"token": " there","logprob": -3.787621,"bytes": [32, 116, 104, 101, 114, 101]}]},{"token": " How","logprob": -0.000054669687,"bytes": [32, 72, 111, 119],"top_logprobs": [{"token": " How","logprob": -0.000054669687,"bytes": [32, 72, 111, 119]},{"token": "<|end|>","logprob": -10.953937,"bytes": null}]},{"token": " can","logprob": -0.015801601,"bytes": [32, 99, 97, 110],"top_logprobs": [{"token": " can","logprob": -0.015801601,"bytes": [32, 99, 97, 110]},{"token": " may","logprob": -4.161023,"bytes": [32, 109, 97, 121]}]},{"token": " I","logprob": -3.7697225e-6,"bytes": [32,73],"top_logprobs": [{"token": " I","logprob": -3.7697225e-6,"bytes": [32, 73]},{"token": " assist","logprob": -13.596657,"bytes": [32, 97, 115, 115, 105, 115, 116]}]},{"token": " assist","logprob": -0.04571125,"bytes": [32, 97, 115, 115, 105, 115, 116],"top_logprobs": [{"token": " assist","logprob": -0.04571125,"bytes": [32, 97, 115, 115, 105, 115, 116]},{"token": " help","logprob": -3.1089056,"bytes": [32, 104, 101, 108, 112]}]},{"token": " you","logprob": -5.4385737e-6,"bytes": [32, 121, 111, 117],"top_logprobs": [{"token": " you","logprob": -5.4385737e-6,"bytes": [32, 121, 111, 117]},{"token": " today","logprob": -12.807695,"bytes": [32, 116, 111, 100, 97, 121]}]},{"token": " today","logprob": -0.0040071653,"bytes": [32, 116, 111, 100, 97, 121],"top_logprobs": [{"token": " today","logprob": -0.0040071653,"bytes": [32, 116, 111, 100, 97, 121]},{"token": "?","logprob": -5.5247097,"bytes": [63]}]},{"token": "?","logprob": -0.0008108172,"bytes": [63],"top_logprobs": [{"token": "?","logprob": -0.0008108172,"bytes": [63]},{"token": "?\n","logprob": -7.184561,"bytes": [63, 10]}]}]},"finish_reason": "stop"}],"usage": {"prompt_tokens": 9,"completion_tokens": 9,"total_tokens": 18},"system_fingerprint": null
}