【2023 · CANN训练营第一季】模型转换与ATC工具的学习

本文主要是介绍【2023 · CANN训练营第一季】模型转换与ATC工具的学习，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

【2023 · CANN训练营第一季】模型转换与ATC工具的学习

文档参考：CANN文档社区版: 6.0.RC1.alpha001

一、为什么要使用ATC工具

昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具

当前昇腾AI处理器以及昇腾AI软件栈是没有办法直接拿比如Caffe，TensorFlow等开源框架网络模型来直接进行推理的，我们需要将开源框架的网络模型转换成Davinci架构专用的模型。

其作用：

1.它可以将开源框架的网络模型（如Caffe、TensorFlow等）以及Ascend IR定义的单算子描述文件转换为昇腾AI处理器支持的离线模型。

2.模型转换过程中，ATC会进行算子调度优化、权重数据重排、内存使用优化等具体操作，对原始的深度学习模型进行进一步的调优，从而满足部署场景下的高性能需求，使其能够高效执行在昇腾AI处理器上。

二、什么是AIPP

AIPP（Artificial Intelligence Pre-Processing）人工智能预处理，用于在AI Core上完成数据预处理，包括改变图像尺寸、色域转换（转换图像格式）、减均值/乘系数（改变图像像素），数据预处理之后再进行真正的模型推理。

AIPP主要用于在AI Core上完成数据预处理，通过AIPP提供的色域转换功能，输出满足要求的图片格式；通过改变图像尺寸中的补边（Padding）功能，输出满足长宽对齐的图片等，AIPP的出现是对DVPP能力的有效补充。

AIPP根据配置方式不同，分为静态AIPP和动态AIPP；如果要将原始图片输出为满足推理要求的图片格式，则需要使用色域转换功能；如果要输出固定大小的图片，则需要使用AIPP提供的Crop（抠图）、Padding（补边）功能

三、环境安装与设置

CANN环境安装，可以参考我的【CANN训练营-模型部署入门】【CANN训练营0基础赢满分秘籍】CANN的Ubuntu环境安装

安装好后，根据需要，在原先的环境变量基础上多添加了如下几个环境变量：

export ASCEND_SLOG_PRINT_TO_STDOUT=1
export TE_PARALLEL_COMPILER=2
export DUMP_GE_GRAPH=1
export DUMP_GRAPH_LEVEL=1

1.设置atc运行日志

其中 export ASCEND_SLOG_PRINT_TO_STDOUT=1是设置atc命令执行过程中的打屏环境变量

也可以在atc命令中设置–log参数(此参数不能设置为null),显示相应的日志级别

如果需要把日志重定向到文件，设置好上述的打印日志级别后，将–log参数设置为

atc xxx --log=debug >log.txt

2.开启算子并行编译功能

若网络模型较大，则可以开启算子并行编译

export TE_PARALLEL_COMPILER=xx

TE_PARALLEL_COMPILER的值代表算子编译进程数（配置为整数），取值范围为1~32，默认值为8，当取值大于1时开启算子的并行编译功能。建议不超过：CPU核数*80%/昇腾AI处理器个数

3.设置打印模型转换过程中的各阶段图描述信息

export DUMP_GE_GRAPH=1

其中:

取值为1，全量dump。
取值为2，不含有权重等数据的基本版dump。
取值为3，只显示节点关系的精简版dump。

如果想控制dump图的个数，还可以设置：

export DUMP_GRAPH_LEVEL=1

取值为1，dump所有图。
取值为2，dump除子图外的所有图，默认值为2。
取值为3，dump最后的生成图。

设置上述变量后，在执行atc命令的当前路径会生成如下文件：

ge_onnx*.pbtxt：基于ONNX的开源模型描述结构，可以使用Netron等可视化软件打开。
ge_proto*.txt：protobuf格式存储的文本文件，该文件可以转成json格式文件方便用户定位问题。该文件与ge_onnx*.pbtxt成对出现，但是比ge_onnx*.pbtxt文件会多string类型的属性信息，用户选择其中一种文件打开即可。

四、模型的导出与转换

我们训练好的模型为pt格式的文件，我们需要先将其转换为onnx的格式，再使用atc工具转换成能使用的om文件

pt转换为onnx

eg:

在yolov5官网下载了一个yolov5s.pt

使用其提供的export.py进行转换

python models/export.py --weights yolov5s.pt --img 640 --batch 1

这个转换过程遇到很多问题，等我有空整理一个问题集及解决方法

onnx转换为om

1.未使能AIPP

直接使用atc命令转换时，发现自己有3个模块找不到，重新安装了一下

使用如下命令安装了一下：

pip install numpy
pip install decorator
pip install sympy

安装完成后，再次进行转换

atc --model yolov5s.onnx --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --input_fp16_nodes="images" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance

转换成功如下图:

note:输入的shape要注意写正确，不然会出现如下错误,还有就是，那个输出名字不用自己写.om，输出时工具会自己补全的:

2.使能AIPP

我们在进行C++搭建的模型推理任务时，预处理部分，可以放到AIPP中进行。

我们使用insert_op.cfg:内容如下

aipp_op {aipp_mode: staticinput_format: YUV420SP_U8csc_switch: true# 如果输入的是YVU420SP_U8（NV21）图像，则需要将rbuv_swap_switch参数设置为truerbuv_swap_switch: falserelated_input_rank: 0src_image_size_w: 640src_image_size_h: 640#我准备在推理前就自己使用dvpp预处理把图片处理成想要的形状，因此就不用抠图了crop: falsematrix_r0c0: 298matrix_r0c1: 516matrix_r0c2: 0matrix_r1c0: 298matrix_r1c1: -100matrix_r1c2: -208matrix_r2c0: 298matrix_r2c1: 0matrix_r2c2: 409input_bias_0: 16input_bias_1: 128input_bias_2: 128# 归一化系数需要根据用户模型实际需求配置，如下所取常见值仅作为示例# 归一化系数应用于色域转换和通道交换之后的通道mean_chn_0: 104mean_chn_1: 117mean_chn_2: 123min_chn_0: 0.0min_chn_1: 0.0min_chn_2: 0.0var_reci_chn_0: 1.0var_reci_chn_1: 1.0var_reci_chn_2: 1.0
}

atc命令参数如下:

atc --model yolov5s.onnx --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --input_fp16_nodes="images" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance --insert_op_conf=./insert_op.cfg

出现报错:

看样子是进行aipp的type不能是fp16

修改后：

atc --model yolov5s.onnx --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance --insert_op_conf=./insert_op.cfg

这里保留一个疑问，AIPP不能输入fp16进行转换但是这里有个输出参数是–output_type=FP16,这个参数是参考modelZoo中的样例里面的参数，不知道这样是否有问题，等后面在模型推理那块验证时看看是否有错误，有错误再进行修改

结果如下: