飞桨ONNX推理部署初探

本文主要是介绍飞桨ONNX推理部署初探，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

ONNX，全称Open Neural Network Exchange（开放神经网络交换），是一个用于表示深度学习模型的标准，它定义了一组与环境、平台均无关的标准格式。这使得不同的人工智能框架，如飞桨、MXNet等，可以采用相同的格式来存储模型数据并进行交互。

ONNX的主要功能是为AI模型提供开源格式，定义了一个可扩展的计算图模型，以及内置运算符和标准数据类型的定义。它使模型能在不同框架之间进行转移，从而实现了跨平台的兼容性。此外，ONNX文件不仅存储了神经网络模型的权重，还存储了模型的结构信息、网络中每一层的输入输出以及一些其他的辅助信息。

Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署，包括 TensorRT/OpenVINO/MNN/TNN/NCNN，以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。

ONNX支持RISCV平台，极大的提高了RISCV平台AI部署的方便性！

下面简要学习下ONNX的飞桨模型应用，理论上AIStudio平台可以使用，那么RISCV平台也可以！

安装Paddle2ONNX

下载源代码

git clone https://github.com/PaddlePaddle/Paddle2ONNX

安装需要的库

需要用低版本Pillow和numpy，否则会有报错。如果不降低numpy版本，则需要在涉及numpy.int的代码修改成int 

pip install onnxruntime
pip install Pillow==9.5.0 # 需要用低版本Pillow

在RISCV平台，需要安装特供的ONNX版本：https://github.com/zhangwm-pt/onnxruntime
安装方法为下载源代码，然后执行build.sh即可。

图像分类实践

cd /home/aistudio/Paddle2ONNX/model_zoo/classification/
wget https://bj.bcebos.com/paddle2onnx/model_zoo/mobilenetv3.onnx
python infer.py --model mobilenetv3.onnx --image_path images/ILSVRC2012_val_00000010.jpeg

 目标检测实践

cd /home/aistudio/Paddle2ONNX/model_zoo/detection/
# 下载PicoDet模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/picodet_l_640_coco.onnxpython3 infer.py \--model_path picodet_l_640_coco.onnx \--image_path ./images/hrnet_demo.jpg \--model_type=picodet

需要用低版本Pillow和numpy，否则会有报错。如果不降低numpy版本，则需要在涉及numpy.int的代码修改成int 

 文字识别实践

安装相关库

pip install shapely pyclipper

下载模型

cd /home/aistudio/Paddle2ONNX/model_zoo/ocr# 下载det模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_PP-OCRv2_det_infer.onnx# 下载rec模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_PP-OCRv2_rec_infer.onnx# 下载cls模型
wget https://bj.bcebos.com/paddle2onnx/model_zoo/ch_ppocr_mobile_v2.0_cls_infer.onnx

执行识别

python3 infer.py  \
--det_model_dir=./ch_PP-OCRv2_det_infer.onnx  \
--rec_model_dir=./ch_PP-OCRv2_rec_infer.onnx  \
--cls_model_dir=./ch_ppocr_mobile_v2.0_cls_infer.onnx  \
--image_path=./images/lite_demo.png

这篇关于飞桨ONNX推理部署初探的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---