大模型能力对外提供服务

2024-06-21 12:36
文章标签 服务 模型 提供 能力 对外

本文主要是介绍大模型能力对外提供服务，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

我们在上一篇介绍了如何在本地部署大模型。大模型有了，下一步，很自然的就会想到怎么让模型对外提供服务。毕竟只有用户使用了产品、解决了问题，产品才有价值。

文章目录

  • 1、编程方式和大模型交互
  • 2、使用FastAPI开发大模型web端
    • 2.1、数据实体
    • 2.2、服务层
    • 2.3、控制层
    • 2.4、启动类
    • 2.5、测试类
  • 3、java开发中间层
  • 4、参考资料

1、编程方式和大模型交互

这里直接参考了hugging face上的代码示例。
可以自己先验证一下下面的示例代码在你机器上是否可用。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("模型路径", trust_remote_code=True)
model = AutoModel.from_pretrained("模型路径", trust_remote_code=True).half().cuda()
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

2、使用FastAPI开发大模型web端

示例代码如果跑通了，下面其实就是搭建大模型web端，将能力暴露出去。这里我们使用FastAPI，一个Python的web端高性能框架来搭建web端。
先看一下web端的代码层级

project_name/
│
├── controller/
│   ├── chat_controller.py       # web控制器
│
├── services/                    # 服务层目录
│   ├── chat_service.py          # 聊天服务相关实现
│
├── schemas/                     
│   ├── chat_schema.py           # 数据实体.类似java中的entity
│
├── tests/                
│   ├── test_chat_controller.py  # 测试web控制器脚本

2.1、数据实体

数据实体就是chat_schema.py文件

#pydantic可以理解成java的validation数据校验组件
from pydantic import BaseModel, Field
from typing import Optional, List#类只要继承了BaseModel，就相当于拥有了数据校验的能力。
#类似于validation校验框架的@NotEmpty、@NotBlank注解，如果写过java，应该了解这个
class Message(BaseModel):role: strcontent: strclass ChatMessage(BaseModel):prompt: str    max_tokens: int    temperature: float    top_p: float = Field(default=1.0)

2.2、服务层

服务层，就是java中的service层，主要就是和大模型进行交互。
在这里是chat_service.py文件

import datetime
import model_manager
from schemas.chat_schema import ChatMessage
class ChatService:def post_message(self, message: ChatMessage):model = model_manager.ModelManager.get_model()tokenizer = model_manager.ModelManager.get_tokenizer()#我们这里使用的是chat方法,chat方法是一次性输出推理结果,这个方法的弊端是如果推理时间长,用户要等很久,体验不好。除了chat方法，还可以使用stream_chat方法，类似于一个字一个字往外输出的效果，避免用户长时间等待response = model.chat( tokenizer,            message.prompt,            history=[],max_length=message.max_tokens,top_p=message.top_p,temperature=message.temperature)# 获取当前时间now = datetime.datetime.now()# 格式化时间为字符串time = now.strftime("%Y-%m-%d %H:%M:%S")answer = {            "response": response,            "status": 200,            "time": time        }log = "[" + time + "] " + '", prompt:"' + message.prompt + '", response:"' + repr(response) + '"'print(log)return answerdef get_messages(self):return {"message": "get message"}

2.3、控制层

这里就引入了fastapi框架

from fastapi import APIRouterfrom schemas.chat_schema import ChatMessage
from services.chat_service import ChatService#定义一个API转发器。作用：对API进行路由
chat_router = APIRouter()
#这个就类似于spring框架的@Autowired注解,在controller中注入了一个chat_service服务
chat_service = ChatService()#发布一个post方法
@chat_router.post("/new/message/")
def post_message(message: ChatMessage):print("进入post方法")return chat_service.post_message(message)#发布一个get方法
@chat_router.get("/get/messages/")
def get_messages():return chat_service.get_messages()

2.4、启动类

#uvicorn用来发布web服务。类似于tomcat服务器
import uvicorn
from fastapi import FastAPI
from controller.chat_controller import chat_router as chat_routerapp = FastAPI()
#对请求进行路由,将前缀为/chat的请求路由到chat_router服务
app.include_router(chat_router, prefix="/chat", tags=["chat"])#类似于java中的main方法
if __name__ == "__main__":#启动web服务uvicorn.run(app, host="0.0.0.0", port=6006, log_level="info", workers=1)

2.5、测试类

import json
import requestsurl1 = "http://127.0.0.1:6006/chat/new/message/"
data = {"history":[{"role":"user","content":"北京今天的天气怎么样"}],"prompt":"只回答温度和风力","max_tokens":12000,"temperature":0.5
}response1 = requests.post(url1, data=json.dumps(data))
print(response1.text)url2 = "http://127.0.0.1:6006/chat/get/messages/"
response2 = requests.get(url2)
print(response2.text)

3、java开发中间层

java中间层的作用是：调用大模型web端，获取推理结果，展示给用户。

为什么需要有这样一个java中间层呢？其他语言写这个中间层可以吗？
我们现在做的只是一个demo版本，真正上线使用的话，要考虑很多东西。比如：限流、熔断、降级等等。保护大模型服务
在web方面，java发展了20多年的时间，有非常厚的沉淀和非常好的生态，所以用java开发web比较合适，用其他语言来写这个中间层也可以，但是没有java语言好，这是利用了java语言的长处。

调用大模型获取推理结果，我们可以考虑以下两种方式
一次性获取推理结果
引入Hutool

    <dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.6.5</version></dependency>

@PostMapping(value = "/sendMessageHutool")public void sendMessageHutool(@RequestBody ChatRequest request, HttpServletResponse response) {try {log.info("参数为:{}",JSONObject.toJSONString(request));String channelResponse = HttpRequest.post(URL).body(JSONObject.toJSONString(request)).execute().body();log.info("channelResponse的值:{}",channelResponse);} catch (Exception e) {log.error("流式调用异常", e);}}

流式获取推理结果
使用okhttp3。okhttp3提供了流式获取大模型结果的API。依赖如下：

//引入okttp3的依赖
<dependency><groupId>com.squareup.okhttp3</groupId><artifactId>okhttp-sse</artifactId><version>5.0.0-alpha.14</version></dependency>
//引入kotlin依赖
<dependency><groupId>org.jetbrains.kotlin</groupId><artifactId>kotlin-stdlib</artifactId><version>2.0.0</version></dependency>

极客时间的专栏课上提供了demo示例，大家可以根据这个思路试一试


@ApiOperation(value = "流式发送对话消息")
@PostMapping(value = "sendMessage")
public void sendMessage(@RequestBody ChatRequest request, HttpServletResponse response) {try {JSONObject body = new JSONObject();body.put("model", request.getModel());body.put("stream", true);JSONArray messages = new JSONArray();JSONObject query = new JSONObject();query.put("role", "user");query.put("content", request.getQuery());messages.add(query);body.put("messages", messages);EsListener eventSourceListener = new EsListener(request, response);RequestBody formBody = RequestBody.create(body, MediaType.parse("application/json"));Request.Builder requestBuilder = new Request.Builder();Request request2 = requestBuilder.url(URL).post(formBody).build();EventSource.Factory factory = EventSources.createFactory(OkHttpUtil.getInstance());factory.newEventSource(request2, eventSourceListener);eventSourceListener.getCountDownLatch().await();} catch (Exception e) {log.error("流式调用异常", e);}
}//EsListener继承了EventSourceListener类，重写了其中的onEvent方法,onEvent不断地接收大模型的推理结果，写回到前端
@Override
public void onEvent(EventSource eventSource, String id, String type, String data) {try {output.append(data);if ("finish".equals(type)) {}if ("error".equals(type)) {}// 开始处理data，此处只展示基本操作// 开发过程中具体逻辑可自行扩展if (response != null) {response.getWriter().write(data);response.getWriter().flush();}} catch (Exception e) {log.error("事件处理异常", e);}
}

4、参考资料

1、极客时间<AI大模型实战高手课>
2、fastapi官网。https://fastapi.tiangolo.com/zh/tutorial/first-steps/
3、hugging face。https://huggingface.co/THUDM/chatglm3-6b

这篇关于大模型能力对外提供服务的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1081239。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
Retrieval-based-Voice-Conversion-WebUI模型构建指南

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS（Variational Inference with adversarial learning for end-to-end Text-to-Speech）的简单易用的语音转换框架。 具有以下特点 简单易用：RVC 模型通过简单易用的网页界面，使得用户无需深入了
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

AI Toolkit + H100 GPU，一小时内微调最新热门文生图模型 FLUX

上个月，FLUX 席卷了互联网，这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型，而这一点已被证明是有依据的。随着越来越多的流行图像生成工具（如 Stable Diffusion Web UI Forge 和 ComyUI）开始支持这些模型，FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2