本文主要是介绍飞桨ONNX部署初探,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
ONNX,全称Open Neural Network Exchange(开放神经网络交换),是一个用于表示深度学习模型的标准,它定义了一组与环境、平台均无关的标准格式。这使得不同的人工智能框架,如飞桨、MXNet等,可以采用相同的格式来存储模型数据并进行交互。
ONNX的主要功能是为AI模型提供开源格式,定义了一个可扩展的计算图模型,以及内置运算符和标准数据类型的定义。它使模型能在不同框架之间进行转移,从而实现了跨平台的兼容性。此外,ONNX文件不仅存储了神经网络模型的权重,还存储了模型的结构信息、网络中每一层的输入输出以及一些其他的辅助信息。
Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署,包括 TensorRT/OpenVINO/MNN/TNN/NCNN,以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。
ONNX支持RISCV平台,极大的提高了RISCV平台AI部署的方便性!
下面简要学习下ONNX的飞桨模型应用,理论上AIStudio平台可以使用,那么RISCV平台也可以!
安装Paddle2ONNX
下载源代码
git clone https://github.com/PaddlePaddle/Paddle2ONNX
安装需要的库
需要用低版本Pillow和numpy,否则会有报错。如果不降低numpy版本,则需要在涉及numpy.int的代码修改成int
pip install onnxruntime
pip install Pillow==9.5.0 # 需要用低版本Pillow
在RISCV平台,需要安装特供的ONNX版本:https://github.com/zhangwm-pt/onnxruntime
安装方法为下载源代码,然后执行build.sh即可。
图像分类实践
cd /home/aistudio/Paddle2ONNX/model_zoo/classification/
wget https://bj.bcebos.com/paddle2onnx/model_zoo/mobilenetv3.onnx
python infer.py --model mobilenetv3.onnx --image_path images/ILSVRC2012_val_00000010.jpeg
目标检测实践
cd /home/aistudio/Paddle2ONNX/model_zoo/detection/
# 下载PicoDet模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/picodet_l_640_coco.onnxpython3 infer.py \--model_path picodet_l_640_coco.onnx \--image_path ./images/hrnet_demo.jpg \--model_type=picodet
需要用低版本Pillow和numpy,否则会有报错。如果不降低numpy版本,则需要在涉及numpy.int的代码修改成int
文字识别实践
安装相关库
pip install shapely pyclipper
下载模型
cd /home/aistudio/Paddle2ONNX/model_zoo/ocr# 下载det模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_PP-OCRv2_det_infer.onnx# 下载rec模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_PP-OCRv2_rec_infer.onnx# 下载cls模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_ppocr_mobile_v2.0_cls_infer.onnx
执行识别
python3 infer.py \
--det_model_dir=./ch_PP-OCRv2_det_infer.onnx \
--rec_model_dir=./ch_PP-OCRv2_rec_infer.onnx \
--cls_model_dir=./ch_ppocr_mobile_v2.0_cls_infer.onnx \
--image_path=./images/lite_demo.png
这篇关于飞桨ONNX部署初探的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!