如何使用 Hugging Face 的 Transformers 库来下载并使用一个qwen1.5的预训练模型[框架]

本文主要是介绍如何使用 Hugging Face 的 Transformers 库来下载并使用一个qwen1.5的预训练模型[框架],希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

要使用Hugging Face的Transformers库下载并使用Qwen1.5预训练模型,你可以按照以下步骤操作:
1.安装Transformers库: 确保你已经安装了transformers库的最新版本,至少是4.37.0,因为Qwen1.5已经被集成到这个版本中。如果还没有安装,可以使用以下命令安装:

   pip install transformers

2.导入必要的模块: 在Python代码中,你需要导入AutoTokenizer和AutoModelForCausalLM(或根据你的具体需求选择相应的模型类):

   from transformers import AutoTokenizer, AutoModelForCausalLM

3.加载预训练模型和分词器: 使用AutoTokenizer.from_pretrained和AutoModelForCausalLM.from_pretrained方法加载Qwen1.5模型及其对应的分词器。模型名称应该是qwen1.5:

   tokenizer = AutoTokenizer.from_pretrained("qwen1.5")model = AutoModelForCausalLM.from_pretrained("qwen1.5")

4.准备输入文本: 根据你的应用,创建一个字符串作为输入文本:

   input_text = "你好,我想了解关于人工智能的一些事情。"

 5.编码输入文本: 使用分词器将输入文本转换为模型可接受的格式:

"使用分词器将输入文本转换为模型可接受的格式" 意味着将原始的、未经处理的自然语言文本通过特定的算法分割成一系列基础单元,这些单元可以是单词、子词(subwords)或者字符等,具体取决于所使用的分词器和模型的要求。这个过程对于大多数现代自然语言处理(NLP)模型来说至关重要,因为模型通常需要输入以数字表示的、固定长度的向量,而不是直接理解原始文本。
在Hugging Face的Transformers库中,AutoTokenizer类负责执行这个任务。它的工作流程大致如下:
分词(Tokenization):将文本拆分成一个个基本单元(tokens)。对于中文,这可能涉及按字符或词汇分隔;对于英文和其他语言,可能会进一步细分为子词以处理词汇的多样性。
添加特殊标记:为了帮助模型理解输入序列的结构,分词器会在序列的开始和结束添加特殊的标记,如[CLS]、[SEP]、<s>、</s>等,具体取决于模型的类型和用途。
映射到索引:每个token被映射到一个唯一的整数ID,这个ID在模型的词汇表中代表该token。词汇表是模型训练时建立的,包含所有模型能理解的token及其对应的ID。
转换为张量:最后,这些整数ID会被组织成一个或多个张量(通常是PyTorch或TensorFlow中的张量),以便于在神经网络模型中作为输入使用。
综上所述,"转换为模型可接受的格式"实质上是将文本数据转化为模型能够理解和处理的数字化、结构化形式,确保模型能够高效地进行预测或生成任务。

   inputs = tokenizer(input_text, return_tensors="pt")

6.生成文本: 如果你想让模型生成文本,你可以使用model.generate方法。注意,对于Qwen1.5这样的语言模型,通常需要指定起始种子文本(inputs的input_ids)和一些生成参数,比如最大生成长度:

   # 例如,生成10个字的文本generated_text = model.generate(inputs["input_ids"], max_length=10)

7.解码生成的文本: 将生成的ID序列转换回人类可读的文本:

   generated_text = tokenizer.decode(generated_text[0])print(generated_text)

以上就是使用Hugging Face的Transformers库下载并使用Qwen1.5预训练模型的基本步骤。根据实际应用,你可能还需要调整生成参数,如温度(temperature)、顶级样本(top_k)、顶级概率(top_p)等以控制生成结果的多样性和质量。

# 导入所需库
from transformers import AutoTokenizer, AutoModelForCausalLM# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("qwen1.5")
model = AutoModelForCausalLM.from_pretrained("qwen1.5")# 输入文本
input_text = "你好,我想知道未来人工智能会如何改变我们的生活。"# 使用分词器对输入文本进行编码
# `return_tensors="pt"`使得返回值为PyTorch张量,适用于后续模型的输入
inputs = tokenizer(input_text, return_tensors="pt", padding=True, truncation=True)# 生成文本配置
# 注意:这里的配置是示例性的,具体参数应根据需求调整
max_length = 50  # 生成文本的最大长度
num_return_sequences = 1  # 返回的生成序列数量
temperature = 1.0  # 控制生成的随机性,较低的值使生成结果更确定
top_p = 0.9  # 核心采样参数,控制候选token的选择范围# 生成文本
# 注意:对于某些模型,可能需要调整generate函数的参数,特别是对于有特定接口的模型
generated = model.generate(inputs.input_ids,max_length=max_length + len(inputs["input_ids"][0]),  # 需要考虑输入长度num_return_sequences=num_return_sequences,temperature=temperature,top_p=top_p,pad_token_id=tokenizer.eos_token_id,  # 结束生成的标志
)# 解码生成的文本
# 对于多个生成序列,这里只取第一个
generated_text = [tokenizer.decode(gen, skip_special_tokens=True, clean_up_tokenization_spaces=True) for gen in generated]
print("\nGenerated Text:")
for idx, text in enumerate(generated_text):print(f"Sequence {idx+1}: {text}")

以上为参考代码。具体根据实际,敬请关注,后期将持续完善学习记录。以下代码来自hugging face

from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # the device to load the model ontomodel = AutoModelForCausalLM.from_pretrained("Qwen/CodeQwen1.5-7B-Chat",torch_dtype="auto",device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/CodeQwen1.5-7B-Chat")prompt = "Write a quicksort algorithm in python."
messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

这篇关于如何使用 Hugging Face 的 Transformers 库来下载并使用一个qwen1.5的预训练模型[框架]的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/990537

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

常用的jdk下载地址

jdk下载地址 安装方式可以看之前的博客: mac安装jdk oracle 版本:https://www.oracle.com/java/technologies/downloads/ Eclipse Temurin版本:https://adoptium.net/zh-CN/temurin/releases/ 阿里版本: github:https://github.com/

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]