RKNPU2从入门到实践 --- 【4】RKNN 模型构建【使用pycharm一步一步搭建RKNN模型】

2024-08-28 07:28

本文主要是介绍RKNPU2从入门到实践 --- 【4】RKNN 模型构建【使用pycharm一步一步搭建RKNN模型】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

前言

1.1 RKNN 初始化及对象释放 

1.1.1 概念介绍 

1.1.2 实际演示

1.2 RKNN 模型配置

1.2.1 概念介绍 

1.2.2 实际演示 

1.3 模型加载

1.3.1 概念介绍

1.3.1.1 Caffe模型加载接口

1.3.1.2 TensorFlow模型加载接口

1.3.1.3 TensorFlowLite 模型加载接口

1.3.1.4 ONNX 模型加载接口

1.3.1.5 DarkNet模型加载接口 ​编辑​编辑

1.3.1.6 PyTorch 模型加载接口 

​编辑 1.3.2 实际演示

1.4 构建RKNN模型

1.4.1 概念介绍 

​编辑1.4.2 实际演示 

1.5 导出RKNN模型

1.5.1 概念介绍 

1.5.2 实际演示 

1.6 最终测试

前言

本篇博文中所使用到的系统为Ubuntu 20系统,搭建好RKNN Toolkit2环境后,方可继续往下看。
RKNN Toolkit2使用流程图如下所示: 


RKNN模型构建流程如下图所示:

      打开 VMware 虚拟软件,启动linux虚拟系【Ubuntu20系统】,在该系统中你已经配置好了RKNNToolkit2环境。
      随后打开pycharm【在虚拟linux系统中打开的pycharm】,创建一个名为 export_rknn_learning 的文件夹,在该文件夹中创建一个名为export_rknn.py文件,创建一个log.txt文件用于存放日志信息,如下图所示。
随后按照如下步骤:

1.1 RKNN 初始化及对象释放 

1.1.1 概念介绍 

      在使用 RKNNToolkit2 的所有 API 接口时,都需要先调用 RKNN()方法初始化 RKNN 对象,当不 再使用该对象时,通过调用该对象的 release()方法进行释放。
      初始化 RKNN 对象时,可以设置 verbose 和 verbose_file 参数,从而打印详细的日志信息。其 中 verbose 参数指定是否要在终端打印详细日志信息;如果设置了 verbose_file 参数,且 verbose 参数值为 True,日志信息还将写到该参数指定的文件中。 举例如下:

from rknn.api import RKNN
#将详细的日志信息输出到终端,并写到 mobilenet_build.log 文件中
rknn=RKNN(verbose=True,verbose_file='./mobilenet_build.log')
rknn=RKNN(verbose=True) #将详细的日志信息输出到终端
…
rknn.release()
1.1.2 实际演示

第一步和最后一步的代码如下所示: 

 运行上述代码,得到:

log.txt 文件中的内容为:

红色框给出了 rknn-toolkit2 的版本,蓝色框给出了已经将日志log信息保存到 log.txt 文件中。

1.2 RKNN 模型配置

1.2.1 概念介绍 

      在构建 RKNN 模型之前,需要先对模型进行通道均值、量化图片 RGB2BGR 转换、量化类型等配置,这些操作需要通过 config 接口进行配置。


举例如下:

rknn.config(mean_values=[123.675,116.28,103.53],std_values=[58.395,58.395,58.395])
1.2.2 实际演示 

第二步代码如下: 

第二步代码添入后整体代码如下所示: 

from rknn.api import RKNNif __name__ == '__main__':# 第一步:创建一个RKNN对象rknn = RKNN(verbose=True, verbose_file='log.txt')# 第二步:调用config接口配置要生成的RKNN模型rknn.config(mean_values=[[123.675, 116.28,103.53]], # mean_values 表示预处理要减去的均值化参数std_values=[[58.395, 58.395, 58.395]], # std_values 表示预处理要除的标准化参数# 上面这两个参数在模型训练时就已经设置好了,在这里应与训练时的取值一至quantized_dtype='asymetric_quantized-8', # quantized_dtype 表示量化类型quantized_method='channel', # quantized_method 表示量化的方式quantized_algorithm='normal', # quantized_algorithm 表示量化的算法quant_img_RGB2BGR=False, # target_platform='rk3588', # target_platform 表示RKNN模型的运行平台float_dtype='float16', # float_dtype 表示RKNN模型中的默认浮点数类型optimization_level=3, # optimization_level 表示模型优化等级custom_string='this is my rknn model', # 添加自定义字符串信息到 RKNN 模型remove_weight=False, # remove_weight 表示生成一个去除权重信息的从模型compress_weight=False, # 压缩模型权重,可以减小RKNN模型的大小。默认为Falseinputs_yuv_fmt=False, # 表示RKNN模型输入数据的YUV格式single_core_mode=False # 表示构建的RKNN模型运行在单核心模式,只适用RK3588)# 第三步:# 最后一步:释放RKNN对象(不再使用RKNN时)rknn.release()

 

1.3 模型加载

1.3.1 概念介绍

      RKNN-Toolkit2 目前支持 Caffe、TensorFlow、TensorFlowLite、ONNX、DarkNet、PyTorch 等模型 的加载转换,这些模型在加载时需调用对应的接口,以下为这些接口的详细说明。

1.3.1.1 Caffe模型加载接口

1.3.1.2 TensorFlow模型加载接口


举例如下:

1.3.1.3 TensorFlowLite 模型加载接口

1.3.1.4 ONNX 模型加载接口

1.3.1.5 DarkNet模型加载接口 

1.3.1.6 PyTorch 模型加载接口 

 1.3.2 实际演示

我们以pytorch模型结构为例,将提前准备好的 resnet18.pt 文件复制粘贴到虚拟机虚拟系统中的项目文件夹中,如下所示:


第三步代码如下:

第三步代码添入后整体代码如下:
 

from rknn.api import RKNNif __name__ == '__main__':# 第一步:创建一个RKNN对象rknn = RKNN(verbose=True, verbose_file='log.txt')# 第二步:调用config接口配置要生成的RKNN模型rknn.config(mean_values=[[123.675, 116.28,103.53]], # mean_values 表示预处理要减去的均值化参数std_values=[[58.395, 58.395, 58.395]], # std_values 表示预处理要除的标准化参数# 上面这两个参数在模型训练时就已经设置好了,在这里应与训练时的取值一至quantized_dtype='asymetric_quantized-8', # quantized_dtype 表示量化类型quantized_method='channel', # quantized_method 表示量化的方式quantized_algorithm='normal', # quantized_algorithm 表示量化的算法quant_img_RGB2BGR=False, # target_platform='rk3588', # target_platform 表示RKNN模型的运行平台float_dtype='float16', # float_dtype 表示RKNN模型中的默认浮点数类型optimization_level=3, # optimization_level 表示模型优化等级custom_string='this is my rknn model', # 添加自定义字符串信息到 RKNN 模型remove_weight=False, # remove_weight 表示生成一个去除权重信息的从模型compress_weight=False, # 压缩模型权重,可以减小RKNN模型的大小。默认为Falseinputs_yuv_fmt=False, # 表示RKNN模型输入数据的YUV格式single_core_mode=False # 表示构建的RKNN模型运行在单核心模式,只适用RK3588)# 第三步:添加 load_xxx 接口进行常用深度学习模型的导入rknn.load_pytorch(model='./resnet18.pt', # model表示加载模型的地址input_size_list=[[1, 3, 224, 224]], # input_size_list 表示模型输入节点对应图片的尺寸和通道数)# 最后一步:释放RKNN对象(不再使用RKNN时)rknn.release()

1.4 构建RKNN模型

1.4.1 概念介绍 



举例如下:


1.4.2 实际演示 

第四步的代码如下:

 第四步代码添入后整体代码如下:

from rknn.api import RKNNif __name__ == '__main__':# 第一步:创建一个RKNN对象rknn = RKNN(verbose=True, verbose_file='log.txt')# 第二步:调用config接口配置要生成的RKNN模型rknn.config(mean_values=[[123.675, 116.28,103.53]], # mean_values 表示预处理要减去的均值化参数std_values=[[58.395, 58.395, 58.395]], # std_values 表示预处理要除的标准化参数# 上面这两个参数在模型训练时就已经设置好了,在这里应与训练时的取值一至quantized_dtype='asymetric_quantized-8', # quantized_dtype 表示量化类型quantized_method='channel', # quantized_method 表示量化的方式quantized_algorithm='normal', # quantized_algorithm 表示量化的算法quant_img_RGB2BGR=False, # target_platform='rk3588', # target_platform 表示RKNN模型的运行平台float_dtype='float16', # float_dtype 表示RKNN模型中的默认浮点数类型optimization_level=3, # optimization_level 表示模型优化等级custom_string='this is my rknn model', # 添加自定义字符串信息到 RKNN 模型remove_weight=False, # remove_weight 表示生成一个去除权重信息的从模型compress_weight=False, # 压缩模型权重,可以减小RKNN模型的大小。默认为Falseinputs_yuv_fmt=False, # 表示RKNN模型输入数据的YUV格式single_core_mode=False # 表示构建的RKNN模型运行在单核心模式,只适用RK3588)# 第三步:添加 load_xxx 接口进行常用深度学习模型的导入rknn.load_pytorch(model='./resnet18.pt', # model表示加载模型的地址input_size_list=[[1, 3, 224, 224]], # input_size_list 表示模型输入节点对应图片的尺寸和通道数)# 第四步:使用build接口来构建RKNN模型rknn.build(do_quantization=True, # do_quantization 表示是否对RKNN模型进行量化操作dataset='dataset.txt', # dataset 表示要量化的图片rknn_batch_size=-1, # 目前用不到)# 最后一步:释放RKNN对象(不再使用RKNN时)rknn.release()

1.5 导出RKNN模型

1.5.1 概念介绍 

通过本工具构建的 RKNN 模型通过该接口可以导出存储为 RKNN 模型文件,用于模型部署。 

1.5.2 实际演示 

 第五步代码如下所示:

 第五步代码添入后的整体代码如下所示:

from rknn.api import RKNNif __name__ == '__main__':# 第一步:创建一个RKNN对象rknn = RKNN(verbose=True, verbose_file='log.txt')# 第二步:调用config接口配置要生成的RKNN模型rknn.config(mean_values=[[123.675, 116.28,103.53]], # mean_values 表示预处理要减去的均值化参数std_values=[[58.395, 58.395, 58.395]], # std_values 表示预处理要除的标准化参数# 上面这两个参数在模型训练时就已经设置好了,在这里应与训练时的取值一至quantized_dtype='asymetric_quantized-8', # quantized_dtype 表示量化类型quantized_method='channel', # quantized_method 表示量化的方式quantized_algorithm='normal', # quantized_algorithm 表示量化的算法quant_img_RGB2BGR=False, # target_platform='rk3588', # target_platform 表示RKNN模型的运行平台float_dtype='float16', # float_dtype 表示RKNN模型中的默认浮点数类型optimization_level=3, # optimization_level 表示模型优化等级custom_string='this is my rknn model', # 添加自定义字符串信息到 RKNN 模型remove_weight=False, # remove_weight 表示生成一个去除权重信息的从模型compress_weight=False, # 压缩模型权重,可以减小RKNN模型的大小。默认为Falseinputs_yuv_fmt=False, # 表示RKNN模型输入数据的YUV格式single_core_mode=False # 表示构建的RKNN模型运行在单核心模式,只适用RK3588)# 第三步:添加 load_xxx 接口进行常用深度学习模型的导入rknn.load_pytorch(model='./resnet18.pt', # model表示加载模型的地址input_size_list=[[1, 3, 224, 224]], # input_size_list 表示模型输入节点对应图片的尺寸和通道数)# 第四步:使用build接口来构建RKNN模型rknn.build(do_quantization=True, # do_quantization 表示是否对RKNN模型进行量化操作dataset='dataset.txt', # dataset 表示要量化的图片rknn_batch_size=-1, # 目前用不到)# 第五步:调用export_rknn接口导出RKNN模型rknn.export_rknn(export_path='resnet18.rknn',# 表示导出的RKNN模型路径)# 最后一步:释放RKNN对象(不再使用RKNN时)rknn.release()

1.6 最终测试

经过了前面的步骤,我们现在可以通过运行代码来完成了RKNN模型的导出工作,运行代码,得到如下图所示:

至此,我们完成了RKNN模型的导出工作,接下来可进行模型评估工作了。

 

这篇关于RKNPU2从入门到实践 --- 【4】RKNN 模型构建【使用pycharm一步一步搭建RKNN模型】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1114109

相关文章

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm