本文主要是介绍基础闯关2,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1. Cli模型部署
模型部署所需要的库主要包括:
pytorch==2.1.2
transformers==4.38
sentencepiece==0.1.99
einops==0.8.0
protobuf==5.27.2
accelerate==0.33.0
由于配置环境比较耗时,在开发机中已经预置了用于模型部署的Python环境,直接激活即可:
conda activate /root/share/pre_envs/icamp3_demo
配置环境后,需要创建文件夹和代码文件,命令如下:
mkdir -p /root/demo
touch /root/demo/cli_demo.py
在cli_demp.py文件中,我们需要编写部署大模型相关的代码。这里我们使用transformers库调用本地模型文件,进行下一个词元预测任务,代码如下:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM# 模型地址
model_name_or_path = "/root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b"# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, device_map='cuda:0')
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='cuda:0')
model = model.eval()system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""messages = [(system_prompt, '')]print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")while True:input_text = input("\nUser >>> ")input_text = input_text.replace(' ', '')if input_text == "exit":breaklength = 0for response, _ in model.stream_chat(tokenizer, input_text, messages):if response is not None:print(response[length:], flush=True, end="")length = len(response)
在命令行执行python /root/demo/cli_demo.py
来启动demo,并输入生成故事的指令:
可以看到,1.8B模型以16精度进行部署时,整体来看能够完成指令要求。
2. LMDeploy InternLM-XComposer2-VL-1.8B部署
InternLM-XComposer2 是一款基于 InternLM2 的视觉语言大模型,其擅长自由形式的文本图像合成和理解。
LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包,能够进行高效的推理和有效的量化。
我们需要使用LMDeploy部署InternLM-XComposer2-VL-1.8B的Gradio服务,仅需一行命令就可以完成模型的部署:
lmdeploy serve gradio /share/new_models/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-1_8b --cache-max-entry-count 0.1
随后需要将开发机的6006端口映射到本地,就可以在本地127.0.0.1:6006
页面访问Gradio应用,部署效果如下:
可以看到,应用包含了标题、模型名称、图片上传、文本生成配置等信息。点击Upload Image上传本地图片,并输入相关指令可以对图片进行提问。我们使用一张雨中木桥图片作为测试图片:
模型的效果如下:
可以看到,模型能够描述图片中的大部分信息。
3. LMDeploy InternVL2-2B部署
InternVL2 是上海人工智能实验室推出的新一代视觉-语言多模态大模型,是首个综合性能媲美国际闭源商业模型的开源多模态大模型。
我们仍然使用LMDeploy来部署InternVL2-2B 模型的 Gradio 服务:
lmdeploy serve gradio /share/new_models/OpenGVLab/InternVL2-2B --cache-max-entry-count 0.1
应用页面如下:
可以看到,只有模型名称与前面的模型不一样,其余组件均相同。我们使用一张动漫风景作为测试图片:
模型的效果如下:
可以看到,模型生成的内容能够描述图像的信息,且语句流畅、优雅。
这篇关于基础闯关2的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!