【2023 · CANN训练营第一季】进阶班 应用开发：模型转换

2023-11-05 16:50
文章标签 进阶 2023 应用 开发 模型 转换 训练营 第一季 cann

本文主要是介绍【2023 · CANN训练营第一季】进阶班 应用开发：模型转换，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 AIPP

AIPP (Artificial Intelligence Pre-Processing)人工智能预处理，在AI Corfe上完成数据预处理。

1.1 静态AIPP

  1. 构造AIPP配置文件*.cfg
  2. 使能静态AIPP，将其配置参数保存在模型文件中。
atc --framework=3--soc_version=S[soc_version)
--model= SHOME/module/resnet50 tensorfiow.pb
--insert_op conf= SHOME/modulefinsert op.cfg
--output= $HOME/module/outcf resnet50
  1. 调用AscendCL接口加载模型，执行推理。

1.2 动态AIPP

  1. 构造AIPP配置文件*.cfg。aipp_op
  2. 使能动态AIPP。
atc --framework=3--soc version=$(soc_version)
--model= SHOME/module/resnet50 tensorflow.pb- 
--insert op conf-$HOME/module/insert op.cfg
--output=SHOME/module/out/tf resnet50
  1. 调用AscendCL接口加载模型，设置AIPP参数后，再执行推理。
aclmdIAIPP *aippDynamicSet = aclmdlCreateAIPP(batchNumber);aclmdlSetAIPPSrclmageSizeaippDynamicSet,250, 250);
acImdlSetAIPPInputFormat(aippDynamicSet,ACL_YUV420SP_U8):aclmdlSetAIPPCscParams(aippDynamicSet,1, 256,0,359,256,-88,-183,256,454,0,0.0,0,0,128,128);
aclmdlSetAIPPCropParams(aippDynamicSet,1,2.2,224,224,0);aclmdISetInputAIPP(modelld, inputindex,aippDynamicSet);acImdIDestroyAIPP(aippDynamicSet);

2 AIPP-Crop/Padding

AIPP改变图片尺寸需要遵守如下图中的顺序，即先Crop再Padding，每个操作仅能执行一次。

  • 场景功能:输入到AIPP中的图片尺寸为srclmageSizeW, srclmageSizeH;模型要求的图片尺寸为dstlmageSizeW.dstlmageSizeH。
  • Crop操作:在原图中距离左上角宽load_start_pos_w，高load_start_pos_h距离的点裁剪出宽为crop_size_w，高为crop_size_h大小的图片。
  • Paste操作:指明在裁剪后的图像四周padding的尺寸，即left_padding_size.right_padding_size.top_padding_size和bottom_padding_size。而经过图像尺寸改变之后最终图片大小，需要跟模型文件输入的图像大小即模型要求的图片尺寸dstlmagesizew. dstlmageSizeH相等。
    其中，对于YUV420SP_u8图片类型，load_start_pos_w. load_start_pos_h参数
    实际上，大多图像缩放或裁剪的工作都在样例中的输入预处理中做过了，如使用opencv的resize函数进行缩放等。初步学习的过程中，仅需要了解AIPP具备这样的功能即可。

crop: true #抠图开关，用于改变图片尺寸
load_start_pos_h: o #抠图起始位置水平、垂直方向坐标
load_start_pos_w: o

开启Crop且没有配置padding, crop_size_w和crop_size_h才能取值为0或不配置。

此时抠图大小(crop_size[W|H])的宽和高取值来自模型文件–
input_shape中的宽和高，并且–input_shape中的宽和高取值范围为[1,4096]。

换言之，通过这样的简单配置，就可以自动将输入的图片裁剪成模型要求的图片天小，避免输入预处理后的图片与模型要求的图片大小不一致的问题。但可能会带来丢失一部分原始图片而导致的精度损失问题。

3 AIPP-RGB说明

3.1 大小格式说明

3.2 OpenCV传统流程处理

4. AIPP色域转换

在执行RGB->YUV，或者RGB->BGR等色域转换时，就可以直接使用AIPP，通过硬件能力快速完成色域转换。

csc_switch : true
#色域转换开关
matrix_rOc0 : 256
#色域转换系数，用户无需修改
matrix_rOc1 : 0
matrix_rOc2 : 359
matrix_r1c0 : 256
matrix_r1c1 : -88
matrix_r1c2 : -183
matrix_r2c0 : 256
matrix_r2c1 : 454
matrix_r2c2 : 0
input_bias_0 : 0
input_bias_1 : 128
input_bias_2 : 128

色域转换功能由csc_switch参数控制,并通过色域转换系数
matrix_rc、通道交换rbuv_swap_switch等参数配合使用。
AlPP中，一旦确认了AIPP处理前与AIPP处理后的图片格式，即可确定色域转换相关的参数值，用户无需修改，模板示例以及更多配置模板请参见色域转换配置说明在示例中，就做了一个YUV420SP转RGB的色域转换操作.

aipp_op {
aipp_mode : static
#AIPP香配置模式。这里为静态AIPP
input_format : YUV420SP_U8#输入给AIPP的原始图片格式src_image_size_w : 250#输入给AIPP的原始图片宽高src_image_size_h : 250
crop: true
#抠图开关,用于改变图片尺寸
load_start_pos_h: o
#抠图是起始位善水平、垂直方向坐标
load_start_pos_w: o
aipp_op {
aipp_mode : static
#AIPP香配置模式。这里为静态AIPP
input_format : YUV420SP_U8#输入给AIPP的原始图片格式src_image_size_w : 250#输入给AIPP的原始图片宽高src_image_size_h : 250
crop: true
#抠图开关,用于改变图片尺寸
load_start_pos_h: o
#抠图是起始位善水平、垂直方向坐标
load_start_pos_w: o
csc_switch : true
#色域转换开关
matrix_roc0 : 256
#色域专换系数。用户无需修改
matrix_roc1 : o
matrix_roc2 : 359
matrix_r1c0 : 256
matrix_r1c1 : -88
matrix_r1c2 : -183
matrix_r2c0 : 256
matrix_r2c1 : 454
matrix_r2c2 : 0
input_bias_o : 0
input_bias_1 : 128
input_bias_2 :128
mean_chn_0:104
#归一化配置
mean_chn_1: 117
mean_chn_2:123
min_chn_0: 0.0
min_chn_1: 0.0
min_chn_2: 0.0
var_reci_chn_0: 1.0
var_reci_chn_1: 1.0
var_reci_chn_2:1.0

5.AIPP归一化

归一化就是要把需要处理的数据经过处理后限制在一定范围内，符合模型要求。
AIPP支持的归一化设置，通过减均值和乘系数的操作完成，其中，mean_chn i表示每个通道的均值，min_chn_i表示每个通道的最小值，var_reci_chn表示每个通道方差的倒数，各通路的这三个值都是需要进行配置的参数。

pixel_out_chx(i)=[pixel_in_chx(i)-mean_chn_i-min_chn_i]*var_reci_chn

在test.cfg中,mean_chn_i有取值，min_chn_i为0，
var_reci_chn为1.0，所以只做了减均值的操作，片段如下:

mean_chn_0: 104
#归一化配置
mean_chn_1: 117
mean_chn_2: 123
min_chn_0: 0.0
min_chn_1: 0.0
min_chn_2: 0.0
var_reci_chn_0: 1.0
var_reci_chn_1: 1.0
var_reci_chn_2: 1.0

6 基本场景及参数介绍

接下来将根据图片分类应用[2中的模型转换介绍实际使用场景。

6.1.场景说明

该样例使用的是已经训练好的pytorch框架的ResNet-50开源模型。模型的基本信息如下所示:
输入数据:RGB格式、224*224分辨率的输入图片。
输出数据:图片的类别标签及其对应置信度。
**归一化:**需要进行减均值([0.485,0.456,0.406])及乘系数([0.229,0.224,0.225])操作

6.2 不使用AIPP进行模型转换

该模型的转换命令如下:


wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
atc --model=resnet50.onnx 
--framework=5 
--output=resnet50 
--input_format=NCHW 
--input_shape="actual_input_1:1,3,224,224" 
--soc_version=Ascend310

经过模型转换后，输出的om模型和原始模型输入输出数据一致。此时数据预处理需要将数据处理为RGB格式,缩放到224*224分辨率、数据进行归一化后才能送入om模型进行推理。

6.3 使用AIPP进行模型转换

AIPP配置文件如下:

aipp_op{
wget https://obs-9be7.obs.cn-east-
aipp_mode:static
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
input_format : RGB888_U8
src_image_size_w : 256
wget https://obs-9be7.obs.cn-east-
src_image_size_h : 256
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50_CV/aipp.cfg
crop: true
load_start_pos_h : 16
load_start_pos_w : 16
crop_size_w : 224
crop_size_h: 224
min_chn_0 : 123.675
min_chn_1 :116.28min_chn_2 : 103.53
var_reci_chn_O: 0.0171247538316637
var_reci_chn_1: 0.0175070028011204
var_reci_chn_2: 0.0174291938997821

模型转换命令如下:

模型转换命令如下:
wget https://obs-9be7.obs.cn-east-
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
wget https://obs-9be7.obs.cn-east-
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50_CV/aipp.cfg
atc --model=resnet50.onnx --framework=5 --output=resnet50 -
-input_format=NCHw --
input_shape="actual_input_1:1,3,224,224"--
soc_version=Ascend310 --insert_op_conf=aipp.cfg

经过模型转换后，输出的om模型和原始模型输入不一致，输出数据一致。此时数据预处理需要将数据处理为RGB格式、缩放到224*224分辨率后即可送入om模型进行推理。此时om会先通过AlPP进行归一化，然后再继续推理。
soc_version=Ascend310 --insert_op_conf=aipp.cfg
\

6.4参数说明

6.4.1 --model

填写原始网络模型文件路径与文件名。当原始模型为Caffe框架时，需要和–weight参数配合使用。参数使用参考示例如下:

# Caffe模型
--model=$HOME/module/resnet50.prototxt 
--weight=$HOME/module/resnet50.c.affemodel
# MindSpore模型
--model=resnet50.airpb模型
--model=resnet50.pb
# onnx模型
--model=resnet50.onnx--framework

atc --model=resnet50.onnx --framework=5 --output=resnet50 -
-input_format=NCHw –
input_shape=“actual_input_1:1,3,224,224”–

6.4.2 framework

填写原始网络模型框架，参数取值与使用参考示例如下:

#取值为O时，即为Caffe框架网络模型，模型包括后缀为prototxt的模型文件和后缀为caffemodel的权重文件
--framework=0
#取值为1时，即为MindSpore框架网络模型，仅支持后缀为*.air的模型文件。
--framework=1
#取值为3时，即为TensorFlow框架网络模型，只支持尾缀为pb的模型文件
--framework=3
#取值为5时，即为ONNX格式网络模型，仅支持ai.onnx算子域中opset v11版本的算子，用户也可以将其他opset版本的算子(比如opset v9)，通过PyTorch转换成opset v11版本的ONNx算子;而使用PyTorch训练出的pth模型需要转化为ONNX格式的模型，才能进行模型转换。
--framework=5

6.4.3 --input_format

填写输入数据格式，Caffe、ONNX默认为NCHW; TensorFlow默认为NHWC。该参数一般不需要填写，直接使用默认值即可，但是该参数存在以下限制:
1.如果TensorFlow模型是通过ONNX模型转换工具输出的，则该参数必填，且值为NCHW.2.当原始框架为MindSpore时，只支持配置为NCHW.
3．如果模型转换时开启AIPP，在进行推理业务时，输入图片数据要求为NHWC排布，该场景下最终与AIPP连接的输入节点的格式被强制
改成NHWC，可能与atc模型转换命令中–input_format参数指定的格式不—致。


# input format参数填写示例
--input_format=NCHw#input shape参数填写示例
--input_shape="actual_input_1:1,3,224,224"

6.4.4 --output

当进行开源框架的网络模型转换时，填写输出的离线模型的路径以及文件名。参数使用参考示例如下:

#指定目录
--output=$HOME/resnet50#当前目录
--output=resnet50

换后的模型文件名以该参数指定的为准，自动以.om后缀结尾，以上示例最终生成的模型为resnet50.om。

6.4.5 --insert_op_conf

填写插入算子的配置文件路径与文件名，例如aipp预处理算子。
本章节中主要使用场景为插入aipp预处理算子，使用该参数后，则输入数据类型为UINT8。

--insert_op_conf=aipp.cfg

这篇关于【2023 · CANN训练营第一季】进阶班 应用开发：模型转换的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/351193。

相关文章

Python进阶之Excel基本操作介绍

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中，很多工作都需要与数据打交
阅读更多...
Golang的CSP模型简介(最新推荐)

Golang的CSP模型简介(最新推荐)

《Golang的CSP模型简介(最新推荐)》Golang采用了CSP（CommunicatingSequentialProcesses,通信顺序进程）并发模型,通过goroutine和channe... 目录前言一、介绍1. 什么是 CSP 模型2. Goroutine3. Channel4. Channe
阅读更多...
Linux使用dd命令来复制和转换数据的操作方法

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动
阅读更多...
基于Python开发电脑定时关机工具

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”，帮你按时关掉电脑，而且全程不需要你多做
阅读更多...
Java中的Opencv简介与开发环境部署方法

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j
阅读更多...
将Python应用部署到生产环境的小技巧分享

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜：从开发到生产的心理准备与检查清单环境搭建：打造稳固的应用运行平台自动化流水线：让部署像
阅读更多...
Python 标准库time时间的访问和转换问题小结

Python 标准库time时间的访问和转换问题小结

《Python标准库time时间的访问和转换问题小结》time模块为Python提供了处理时间和日期的多种功能,适用于多种与时间相关的场景,包括获取当前时间、格式化时间、暂停程序执行、计算程序运行时... 目录模块介绍使用场景主要类主要函数 - time()- sleep()- localtime()- g
阅读更多...
Linux中Curl参数详解实践应用

Linux中Curl参数详解实践应用

《Linux中Curl参数详解实践应用》在现代网络开发和运维工作中,curl命令是一个不可或缺的工具,它是一个利用URL语法在命令行下工作的文件传输工具,支持多种协议,如HTTP、HTTPS、FTP等... 目录引言一、基础请求参数1. -X 或 --request2. -d 或 --data3. -H 或
阅读更多...
在Ubuntu上部署SpringBoot应用的操作步骤

在Ubuntu上部署SpringBoot应用的操作步骤

《在Ubuntu上部署SpringBoot应用的操作步骤》随着云计算和容器化技术的普及,Linux服务器已成为部署Web应用程序的主流平台之一,Java作为一种跨平台的编程语言,具有广泛的应用场景,本... 目录一、部署准备二、安装 Java 环境1. 安装 JDK2. 验证 Java 安装三、安装 mys
阅读更多...
JAVA中整型数组、字符串数组、整型数和字符串 的创建与转换的方法

JAVA中整型数组、字符串数组、整型数和字符串 的创建与转换的方法

《JAVA中整型数组、字符串数组、整型数和字符串的创建与转换的方法》本文介绍了Java中字符串、字符数组和整型数组的创建方法,以及它们之间的转换方法,还详细讲解了字符串中的一些常用方法,如index... 目录一、字符串、字符数组和整型数组的创建1、字符串的创建方法1.1 通过引用字符数组来创建字符串1.2
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2