【大模型API调用初尝试二】星火认知大模型 百度千帆大模型

2024-03-13 13:28
文章标签 百度 模型 尝试 调用 api 认知 星火 千帆

本文主要是介绍【大模型API调用初尝试二】星火认知大模型 百度千帆大模型，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

大模型API调用初尝试二

  • 科大讯飞—星火认知大模型
    • 单论会话调用
    • 多轮会话调用
  • 百度—千帆大模型
    • 获取access_token
    • 单轮会话
    • 多轮会话

科大讯飞—星火认知大模型

星火认知大模型是科大讯飞开发的，直接使用可以点击星火认知大模型，要调用API的话在讯飞开发平台注册，之后点击进入控制台。
在这里插入图片描述
在这里插入图片描述

注册后完成实名认证，以及各种新人礼包，白嫖一些tokens！ 之后就去找官方API调用文档，星火大模型的API是通过websocket建立连接然后实现调用的，和通义千问通过HTTP协议调用、智谱AI直接用封装好的python包调用不同。

单论会话调用

单论会话就是用户提一个问题，大模型回答，这一轮就结束了。下一轮会话用户向模型发送的信息中不包括上一轮的信息。
官方给的python调用实例，修改一下on_close()函数（需要三个参数），以及将服务器端和用户端代码分离开：SparkAPI.py—服务器端口的代码👇

# coding: utf-8
import _thread as thread
import os
import time
import base64import base64
import datetime
import hashlib
import hmac
import json
from urllib.parse import urlparse
import ssl
from datetime import datetime
from time import mktime
from urllib.parse import urlencode
from wsgiref.handlers import format_date_timeimport websocket
import openpyxl
from concurrent.futures import ThreadPoolExecutor, as_completed
import osclass Ws_Param(object):# 初始化def __init__(self, APPID, APIKey, APISecret, gpt_url):self.APPID = APPIDself.APIKey = APIKeyself.APISecret = APISecretself.host = urlparse(gpt_url).netlocself.path = urlparse(gpt_url).pathself.gpt_url = gpt_url# 生成urldef create_url(self):# 生成RFC1123格式的时间戳now = datetime.now()date = format_date_time(mktime(now.timetuple()))# 拼接字符串signature_origin = "host: " + self.host + "\n"signature_origin += "date: " + date + "\n"signature_origin += "GET " + self.path + " HTTP/1.1"# 进行hmac-sha256进行加密signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),digestmod=hashlib.sha256).digest()signature_sha_base64 = base64.b64encode(signature_sha).decode(encoding='utf-8')authorization_origin = f'api_key="{self.APIKey}", algorithm="hmac-sha256", headers="host date request-line", signature="{signature_sha_base64}"'authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')# 将请求的鉴权参数组合为字典v = {"authorization": authorization,"date": date,"host": self.host}# 拼接鉴权参数，生成urlurl = self.gpt_url + '?' + urlencode(v)# 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释，比对相同参数时生成的url与自己代码生成的url是否一致return url# 收到websocket错误的处理
def on_error(ws, error):print("### error:", error)# 收到websocket关闭的处理
def on_close(ws, close_status_code, close_msg):  print("### closed ###")# 收到websocket连接建立的处理
def on_open(ws):thread.start_new_thread(run, (ws,))def run(ws, *args):data = json.dumps(gen_params(appid=ws.appid, messages=ws.messages, domain=ws.domain))ws.send(data)# 收到websocket消息的处理
def on_message(ws, message):# print(message)data = json.loads(message)code = data['header']['code']if code != 0:print(f'请求错误: {code}, {data}')ws.close()else:choices = data["payload"]["choices"]status = choices["status"]content = choices["text"][0]["content"]# 保存一轮对话的回答global answeranswer += contentprint(content,end='')if status == 2:print("\n#### 关闭会话")ws.close()def gen_params(appid, messages, domain):"""通过appid和用户的提问来生成请参数"""data = {"header": {"app_id": appid,"uid": "1234",           # "patch_id": []    #接入微调模型，对应服务发布后的resourceid          },"parameter": {"chat": {"domain": domain,"temperature": 0.5,"max_tokens": 4096,"auditing": "default",}},"payload": {"message": {"text": messages}}}return datadef main(appid, api_secret, api_key, gpt_url, domain, messages):wsParam = Ws_Param(appid, api_key, api_secret, gpt_url)websocket.enableTrace(False)wsUrl = wsParam.create_url()ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close, on_open=on_open)ws.appid = appidws.messages = messagesws.domain = domainws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})

客户端去调用API的代码：spark_wenda.py👇

import sparkAPI as LLM_APIif __name__ == "__main__":# 准备用户API信息 以及访问的模型urlappid="xxxx"api_secret="xxxx"api_key="xxxxx"gpt_url="wss://spark-api.xf-yun.com/v3.5/chat"# Spark_url = "ws://spark-api.xf-yun.com/v3.1/chat"  # v3.0环境的地址# Spark_url = "ws://spark-api.xf-yun.com/v2.1/chat"  # v2.0环境的地址# Spark_url = "ws://spark-api.xf-yun.com/v1.1/chat"  # v1.5环境的地址domain="generalv3.5"# domain = "generalv3"    # v3.0版本# domain = "generalv2"    # v2.0版本# domain = "general"    # v2.0版本# 用户的问题query = input("\nUser:")question =[{'role':'user', 'content':query}]LLM_API.answer =""print("\nAssistant:",end = "")# 调用api得到输出LLM_API.main(appid, api_secret, api_key, gpt_url, domain, question)

运行结果如下，获取到了大模型的回答，并只输出了其content：
在这里插入图片描述

多轮会话调用

多轮会话需要注意前面几轮对话用户user的问题和大模型assistant的回答都要记录下来，通过websocket访问大模型时，将之前的问答信息一同发送，因此需要记录下每轮大模型的回答，即global answer，并将其附加在messages中。具体的Spark_wenda.py内容如下👇

import sparkAPI as LLM_APImessages =[]# length = 0
# 并入一条新的message，可以是用户的问题，也可以是大模型的回答
def getText(role,content):jsoncon = {}jsoncon["role"] = rolejsoncon["content"] = contentmessages.append(jsoncon)return messages# 获取messages的长度，向大模型发送的问题token数量是有限制的
def getlength(messages):length = 0for content in messages:temp = content["content"]leng = len(temp)length += lengreturn length
# 检查token数量
def checklen(messages):while (getlength(messages) > 8000):del messages[0]return messages        if __name__ == "__main__":# 准备用户API信息 以及访问的模型urlappid="xxxxxx"api_secret="xxxxxxx"api_key="xxxxxxxx"gpt_url="wss://spark-api.xf-yun.com/v3.5/chat"# Spark_url = "ws://spark-api.xf-yun.com/v3.1/chat"  # v3.0环境的地址# Spark_url = "ws://spark-api.xf-yun.com/v2.1/chat"  # v2.0环境的地址# Spark_url = "ws://spark-api.xf-yun.com/v1.1/chat"  # v1.5环境的地址domain="generalv3.5"# domain = "generalv3"    # v3.0版本# domain = "generalv2"    # v2.0版本# domain = "general"    # v2.0版本messages.clearwhile True:  # 循环进行会话query = input("\nUser:")# 将用户新的问题加入历史问答messages中question = checklen(getText("user",query))LLM_API.answer =""print("\nAssistant:",end = "")LLM_API.main(appid, api_secret, api_key, gpt_url, domain, messages)# 将星火大模型的输出附加到历史问答messages中getText("assistant",LLM_API.answer)

运行观察大模型确实能够对每次的问题进行回答，且能够有效利用之前问答的信息。
在这里插入图片描述
messages记录的是多轮问答的内容以及最新一次会话用户的问题，messages确实是等于question的。在vscode中调试代码，观察messages和question中的信息，确实是有前面两轮问答的问题＋答案，以及最新一轮用户的问题：
在这里插入图片描述
在这里插入图片描述

百度—千帆大模型

首先注册登录百度千帆大模型平台；然后在控制台添加应用，后续会用到API_KEY，SECRET_KEY；然后在文档中找到官方API调用文档，其中包括了不同模型的调用代码。
这里需要注意，后续要调用API大模型，需要在在线服务中开通服务，否则会报错{"error_code":17,"error_msg":"Open api daily request limit reached"}。
在这里插入图片描述
千帆大模型平台中的大模型api是通过http的方式去请求-响应的，步骤包括1、通过api-key和secret-key获取access-token；2、利用access-token向大模型发起请求；3、获取大模型的响应。

获取access_token

import requests
import json
# 填入自己申请的api应用的信息
API_KEY = "xxxxxxx"
SECRET_KEY = "xxxxxxx"# 参考网址👉 https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Ilkkrb0i5
# access_token
def get_access_token():"""使用 AK，SK 生成鉴权签名（Access Token）:return: access_token，或是None(如果错误)"""url = "https://aip.baidubce.com/oauth/2.0/token"params = {"grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY}return str(requests.post(url, params=params).json().get("access_token"))

单轮会话


# 单轮会话
def Single_Round_Session():# 访问的模型的url url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=" + get_access_token()# 用户输入问题query = input("\nUser:")payload = json.dumps({"disable_search": False,"enable_citation": False,# 添加问题 发送请求"messages": [{"role": "user","content": query,}]})headers = {'Content-Type': 'application/json'}# 获取大模型的响应response = requests.request("POST", url, headers=headers, data=payload)# 获取响应的内容print(response.text)
if __name__ == '__main__':Single_Round_Session()

例子：
在这里插入图片描述

多轮会话

多轮会话需要注意保存之前对话的问答，代码如下：


# 多轮会话  
def Multi_Round_Session():# 访问的模型的url url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=" + get_access_token()# 用户的问题messages = []while True :# 构造访问的问题question = {"role": "user","content":input("\nUser:")}messages.append(question)payload = json.dumps({"disable_search": False,"enable_citation": False,# 添加问题 发送请求"messages": messages})headers = {'Content-Type': 'application/json'}# 获取大模型的响应response = requests.request("POST", url, headers=headers, data=payload)# 获取响应的内容print("\n",response.json()["result"]  )# 将响应内容添加到会话历史中answer = {"role": "assistant","content":response.json()["result"]}messages.append(answer)if __name__ == '__main__':Multi_Round_Session()

结果：
在这里插入图片描述

这篇关于【大模型API调用初尝试二】星火认知大模型 百度千帆大模型的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/805032。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
百度/小米/滴滴/京东，中台架构比较

百度/小米/滴滴/京东，中台架构比较

小米中台建设实践 01 小米的三大中台建设：业务+数据+技术 业务中台--从业务说起 在中台建设中，需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况，判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等，再结合其业务发展历程及业务现状，整理了中台架构的核心方法论，一是企业如何共享服务，二是如何为业务提供便利。
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
如何在页面调用utility bar并传递参数至lwc组件

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件： 2.调用utility bar api的方式有两种： 方法一，通过lwc调用： import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2