昇思AI框架实践2:基于T5的SQL语句生成模型推理

本文主要是介绍昇思AI框架实践2:基于T5的SQL语句生成模型推理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 MindSpore 基于T5的SQL语句生成项目实施

基于T5的SQL语句生成项目介绍

• 本项目旨在开发一个基于T5-small模型的自然语言转SQL语句生成器。该生成器能够将用户以自然语言形式提出的查询请求转换为对应的SQL查询语句，从而使得即使是不熟悉SQL语言的用户也能够轻松地从数据库中检索所需信息。
• 本项目使用HuggingFace中经过大量英文语料预训练的T5-small模型并对其模型迁移，将其变为MindSpore可用的模型。

项目地址：昇思大模型平台

 

项目mindspore环境安装，参见：昇思AI框架实践1:安装MindSpoe和MindFormers-CSDN博客

 

 下载基于T5的SQL语句生成模型

项目地址：昇思大模型平台

模型文件下载地址：昇思大模型平台 

前面走了弯路，使用git clone下载了模型。其实mindformers支持自动下载模型，所以只要在代码里设定好模型的名字为t5_small即可

import mindspore
from mindformers import T5ForConditionalGeneration, T5Tokenizert5 = T5ForConditionalGeneration.from_pretrained(”t5_small“)

使用git下载模型（不必须）

模型位置：昇思大模型平台

使用git下载

git clone https://source-xihe-mindspore.osinfra.cn/zhanglingyun2023/Text2SQL_model.git

MindSpoe模型推理lenet模型例子

加载lenet模型例子

from mindspore import load_checkpoint, Tensor
from mindspore.common import set_seed
from mindvision.classification.models import lenet
from mindspore.train import Model# 定义模型
net = lenet(num_classes=10, pretrained=False)# 加载参数
param_dict = load_checkpoint("./lenet/lenet-1_1875.ckpt")# 将参数加载到模型中
load_param_into_net(net, param_dict)

 推理lenet模型

# 假设data是一个包含输入数据的字典，labels是实际标签
output = model.predict(Tensor(data['image']))
predicted = np.argmax(output.asnumpy(), axis=1)
print(f'Predicted: "{predicted}", Actual: "{labels}"')

后来发现可以直接用MindFormers推理，非常简单方便。

使用MindFormers推理 

MindFormers里面给的例子：

python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}

根据这个例子，改写的命令应该是：

python mindformers/run_mindformer.py --config Text2SQL_model/text2sql.yaml --run_mode Text2SQL_model/text2sql.ckpt

后来发现了该项目里面gradio app的例子代码，参考该代码，MindFormers在python里面使用起来更简单方便。

项目中的gradio app例子代码

import gradio as gr
import mindspore
from mindformers import T5ForConditionalGeneration, T5Tokenizermodel_path = './'
t5 = T5ForConditionalGeneration.from_pretrained(model_path)
tokenizer = T5Tokenizer.from_pretrained("t5_small")
t5.set_train(False)
mindspore.set_context(mode=0, device_id=0)def generate_SQL(text):text = "translate English to SQL: %s </s>" % textinputs = tokenizer(text)outputs = t5.generate(inputs["input_ids"],do_sample=False)response = tokenizer.decode(outputs,skip_special_tokens=True)[0]return response# 创建 Gradio 界面
iface = gr.Interface(fn=generate_SQL,inputs=[gr.Textbox(lines=2, placeholder="请输入需求"),],outputs=gr.Textbox(),title="SQL语句生成器",description="请输入英文需求,自动生成SQL语句。\n 例如：Search for the names of all employees over the age of 30。"
)# 运行应用程序
iface.launch()

经过测试，发现可以直接在t5 = T5ForConditionalGeneration.from_pretrained(model_path) 这句话里写模型名字，如：t5 = T5ForConditionalGeneration.from_pretrained("t5_small")系统会自动下载模型。当然也可以像例子那样写，手工下载模型文件到相应的目录。

根据例子代码改写的推理代码

如果没有手工下载模型，那就在设置里写上模型名字"t5_small"即可。

t5 = T5ForConditionalGeneration.from_pretrained(”t5_small“)

tokenizer = T5Tokenizer.from_pretrained("t5_small")

import mindspore
from mindformers import T5ForConditionalGeneration, T5Tokenizer# model_path = './'
# t5 = T5ForConditionalGeneration.from_pretrained(model_path)
t5 = T5ForConditionalGeneration.from_pretrained("t5_small")
tokenizer = T5Tokenizer.from_pretrained("t5_small")
t5.set_train(False)
mindspore.set_context(mode=1, device_id=0)def generate_SQL(text):text = "translate English to SQL: %s </s>" % textinputs = tokenizer(text)outputs = t5.generate(inputs["input_ids"],do_sample=False)response = tokenizer.decode(outputs,skip_special_tokens=True)[0]return responsedescription="请输入英文需求,自动生成SQL语句。\n 例如：Search for the names of all employees over the age of 30。"
inputs = input(description)
output = generate_SQL(inputs)
print (output)
while True:inputs = input(description)if inputs=="q" or inputs=="0" :breakoutput = generate_SQL(inputs)print(output)

推理结果

2024-08-29 13:30:48,564 - mindformers[mindformers/generation/text_generator.py:478] - INFO - total time: 19.149714946746826 s; generated tokens: 13 tokens; generate speed: 0.678861279979964 tokens/s

SELECT User FROM table WHERE Name = hello

共计用时19秒，在cpu下速度算是可以了。

问题：Search for the names of all employees over the age of 30。"

回答：SELECT Name FROM table WHERE Label = "Stu_Db" AND Age > 30

这篇关于昇思AI框架实践2:基于T5的SQL语句生成模型推理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---