【2023 · CANN训练营第一季】进阶班 应用开发：模型转换

1 AIPP

AIPP (Artificial Intelligence Pre-Processing)人工智能预处理，在AI Corfe上完成数据预处理。

1.1 静态AIPP

1. 构造AIPP配置文件*.cfg
2. 使能静态AIPP，将其配置参数保存在模型文件中。

atc --framework=3--soc_version=S[soc_version)
--model= SHOME/module/resnet50 tensorfiow.pb
--insert_op conf= SHOME/modulefinsert op.cfg
--output= $HOME/module/outcf resnet50

3. 调用AscendCL接口加载模型，执行推理。

1.2 动态AIPP

1. 构造AIPP配置文件*.cfg。aipp_op
2. 使能动态AIPP。

atc --framework=3--soc version=$(soc_version)
--model= SHOME/module/resnet50 tensorflow.pb- 
--insert op conf-$HOME/module/insert op.cfg
--output=SHOME/module/out/tf resnet50

3. 调用AscendCL接口加载模型，设置AIPP参数后，再执行推理。

aclmdIAIPP *aippDynamicSet = aclmdlCreateAIPP(batchNumber);aclmdlSetAIPPSrclmageSizeaippDynamicSet,250, 250);
acImdlSetAIPPInputFormat(aippDynamicSet,ACL_YUV420SP_U8):aclmdlSetAIPPCscParams(aippDynamicSet,1, 256,0,359,256,-88,-183,256,454,0,0.0,0,0,128,128);
aclmdlSetAIPPCropParams(aippDynamicSet,1,2.2,224,224,0);aclmdISetInputAIPP(modelld, inputindex,aippDynamicSet);acImdIDestroyAIPP(aippDynamicSet);

2 AIPP-Crop/Padding

AIPP改变图片尺寸需要遵守如下图中的顺序，即先Crop再Padding，每个操作仅能执行一次。

• 场景功能:输入到AIPP中的图片尺寸为srclmageSizeW, srclmageSizeH;模型要求的图片尺寸为dstlmageSizeW.dstlmageSizeH。
• Crop操作:在原图中距离左上角宽load_start_pos_w，高load_start_pos_h距离的点裁剪出宽为crop_size_w，高为crop_size_h大小的图片。
• Paste操作:指明在裁剪后的图像四周padding的尺寸，即left_padding_size.right_padding_size.top_padding_size和bottom_padding_size。而经过图像尺寸改变之后最终图片大小，需要跟模型文件输入的图像大小即模型要求的图片尺寸dstlmagesizew. dstlmageSizeH相等。
  其中，对于YUV420SP_u8图片类型，load_start_pos_w. load_start_pos_h参数
  实际上，大多图像缩放或裁剪的工作都在样例中的输入预处理中做过了，如使用opencv的resize函数进行缩放等。初步学习的过程中，仅需要了解AIPP具备这样的功能即可。

crop: true #抠图开关，用于改变图片尺寸
load_start_pos_h: o #抠图起始位置水平、垂直方向坐标
load_start_pos_w: o

开启Crop且没有配置padding, crop_size_w和crop_size_h才能取值为0或不配置。

此时抠图大小(crop_size[W|H])的宽和高取值来自模型文件–
input_shape中的宽和高，并且–input_shape中的宽和高取值范围为[1,4096]。

换言之，通过这样的简单配置，就可以自动将输入的图片裁剪成模型要求的图片天小，避免输入预处理后的图片与模型要求的图片大小不一致的问题。但可能会带来丢失一部分原始图片而导致的精度损失问题。

3 AIPP-RGB说明

3.1 大小格式说明

3.2 OpenCV传统流程处理

4. AIPP色域转换

在执行RGB->YUV，或者RGB->BGR等色域转换时，就可以直接使用AIPP，通过硬件能力快速完成色域转换。

csc_switch : true
#色域转换开关
matrix_rOc0 : 256
#色域转换系数，用户无需修改
matrix_rOc1 : 0
matrix_rOc2 : 359
matrix_r1c0 : 256
matrix_r1c1 : -88
matrix_r1c2 : -183
matrix_r2c0 : 256
matrix_r2c1 : 454
matrix_r2c2 : 0
input_bias_0 : 0
input_bias_1 : 128
input_bias_2 : 128

色域转换功能由csc_switch参数控制,并通过色域转换系数
matrix_rc、通道交换rbuv_swap_switch等参数配合使用。
AlPP中，一旦确认了AIPP处理前与AIPP处理后的图片格式，即可确定色域转换相关的参数值，用户无需修改，模板示例以及更多配置模板请参见色域转换配置说明在示例中，就做了一个YUV420SP转RGB的色域转换操作.

aipp_op {
aipp_mode : static
#AIPP香配置模式。这里为静态AIPP
input_format : YUV420SP_U8#输入给AIPP的原始图片格式src_image_size_w : 250#输入给AIPP的原始图片宽高src_image_size_h : 250
crop: true
#抠图开关,用于改变图片尺寸
load_start_pos_h: o
#抠图是起始位善水平、垂直方向坐标
load_start_pos_w: o
aipp_op {
aipp_mode : static
#AIPP香配置模式。这里为静态AIPP
input_format : YUV420SP_U8#输入给AIPP的原始图片格式src_image_size_w : 250#输入给AIPP的原始图片宽高src_image_size_h : 250
crop: true
#抠图开关,用于改变图片尺寸
load_start_pos_h: o
#抠图是起始位善水平、垂直方向坐标
load_start_pos_w: o
csc_switch : true
#色域转换开关
matrix_roc0 : 256
#色域专换系数。用户无需修改
matrix_roc1 : o
matrix_roc2 : 359
matrix_r1c0 : 256
matrix_r1c1 : -88
matrix_r1c2 : -183
matrix_r2c0 : 256
matrix_r2c1 : 454
matrix_r2c2 : 0
input_bias_o : 0
input_bias_1 : 128
input_bias_2 :128
mean_chn_0:104
#归一化配置
mean_chn_1: 117
mean_chn_2:123
min_chn_0: 0.0
min_chn_1: 0.0
min_chn_2: 0.0
var_reci_chn_0: 1.0
var_reci_chn_1: 1.0
var_reci_chn_2:1.0

5.AIPP归一化

归一化就是要把需要处理的数据经过处理后限制在一定范围内，符合模型要求。
AIPP支持的归一化设置，通过减均值和乘系数的操作完成，其中，mean_chn i表示每个通道的均值，min_chn_i表示每个通道的最小值，var_reci_chn表示每个通道方差的倒数，各通路的这三个值都是需要进行配置的参数。

pixel_out_chx(i)=[pixel_in_chx(i)-mean_chn_i-min_chn_i]*var_reci_chn

在test.cfg中,mean_chn_i有取值，min_chn_i为0，
var_reci_chn为1.0，所以只做了减均值的操作，片段如下:

mean_chn_0: 104
#归一化配置
mean_chn_1: 117
mean_chn_2: 123
min_chn_0: 0.0
min_chn_1: 0.0
min_chn_2: 0.0
var_reci_chn_0: 1.0
var_reci_chn_1: 1.0
var_reci_chn_2: 1.0

6 基本场景及参数介绍

接下来将根据图片分类应用[2中的模型转换介绍实际使用场景。

6.1.场景说明

该样例使用的是已经训练好的pytorch框架的ResNet-50开源模型。模型的基本信息如下所示:
输入数据:RGB格式、224*224分辨率的输入图片。
输出数据:图片的类别标签及其对应置信度。
**归一化:**需要进行减均值([0.485,0.456,0.406])及乘系数([0.229,0.224,0.225])操作

6.2 不使用AIPP进行模型转换

该模型的转换命令如下:

wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
atc --model=resnet50.onnx 
--framework=5 
--output=resnet50 
--input_format=NCHW 
--input_shape="actual_input_1:1,3,224,224" 
--soc_version=Ascend310

经过模型转换后，输出的om模型和原始模型输入输出数据一致。此时数据预处理需要将数据处理为RGB格式,缩放到224*224分辨率、数据进行归一化后才能送入om模型进行推理。

6.3 使用AIPP进行模型转换

AIPP配置文件如下:

aipp_op{
wget https://obs-9be7.obs.cn-east-
aipp_mode:static
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
input_format : RGB888_U8
src_image_size_w : 256
wget https://obs-9be7.obs.cn-east-
src_image_size_h : 256
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50_CV/aipp.cfg
crop: true
load_start_pos_h : 16
load_start_pos_w : 16
crop_size_w : 224
crop_size_h: 224
min_chn_0 : 123.675
min_chn_1 :116.28min_chn_2 : 103.53
var_reci_chn_O: 0.0171247538316637
var_reci_chn_1: 0.0175070028011204
var_reci_chn_2: 0.0174291938997821

模型转换命令如下:

模型转换命令如下:
wget https://obs-9be7.obs.cn-east-
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
wget https://obs-9be7.obs.cn-east-
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50_CV/aipp.cfg
atc --model=resnet50.onnx --framework=5 --output=resnet50 -
-input_format=NCHw --
input_shape="actual_input_1:1,3,224,224"--
soc_version=Ascend310 --insert_op_conf=aipp.cfg

经过模型转换后，输出的om模型和原始模型输入不一致，输出数据一致。此时数据预处理需要将数据处理为RGB格式、缩放到224*224分辨率后即可送入om模型进行推理。此时om会先通过AlPP进行归一化，然后再继续推理。
soc_version=Ascend310 --insert_op_conf=aipp.cfg
\

6.4参数说明

6.4.1 --model

填写原始网络模型文件路径与文件名。当原始模型为Caffe框架时，需要和–weight参数配合使用。参数使用参考示例如下:

# Caffe模型
--model=$HOME/module/resnet50.prototxt 
--weight=$HOME/module/resnet50.c.affemodel
# MindSpore模型
--model=resnet50.airpb模型
--model=resnet50.pb
# onnx模型
--model=resnet50.onnx--framework

atc --model=resnet50.onnx --framework=5 --output=resnet50 -
-input_format=NCHw –
input_shape=“actual_input_1:1,3,224,224”–

6.4.2 framework

填写原始网络模型框架，参数取值与使用参考示例如下:

#取值为O时，即为Caffe框架网络模型，模型包括后缀为prototxt的模型文件和后缀为caffemodel的权重文件
--framework=0
#取值为1时，即为MindSpore框架网络模型，仅支持后缀为*.air的模型文件。
--framework=1
#取值为3时，即为TensorFlow框架网络模型，只支持尾缀为pb的模型文件
--framework=3
#取值为5时，即为ONNX格式网络模型，仅支持ai.onnx算子域中opset v11版本的算子，用户也可以将其他opset版本的算子(比如opset v9)，通过PyTorch转换成opset v11版本的ONNx算子;而使用PyTorch训练出的pth模型需要转化为ONNX格式的模型，才能进行模型转换。
--framework=5

6.4.3 --input_format

填写输入数据格式，Caffe、ONNX默认为NCHW; TensorFlow默认为NHWC。该参数一般不需要填写，直接使用默认值即可，但是该参数存在以下限制:
1.如果TensorFlow模型是通过ONNX模型转换工具输出的，则该参数必填，且值为NCHW.2.当原始框架为MindSpore时，只支持配置为NCHW.
3．如果模型转换时开启AIPP，在进行推理业务时，输入图片数据要求为NHWC排布，该场景下最终与AIPP连接的输入节点的格式被强制
改成NHWC，可能与atc模型转换命令中–input_format参数指定的格式不—致。

# input format参数填写示例
--input_format=NCHw#input shape参数填写示例
--input_shape="actual_input_1:1,3,224,224"

6.4.4 --output

当进行开源框架的网络模型转换时，填写输出的离线模型的路径以及文件名。参数使用参考示例如下:

#指定目录
--output=$HOME/resnet50#当前目录
--output=resnet50

换后的模型文件名以该参数指定的为准，自动以.om后缀结尾，以上示例最终生成的模型为resnet50.om。

6.4.5 --insert_op_conf

填写插入算子的配置文件路径与文件名，例如aipp预处理算子。
本章节中主要使用场景为插入aipp预处理算子，使用该参数后，则输入数据类型为UINT8。

--insert_op_conf=aipp.cfg