模型部署——rknn-toolkit-lite2部署RKNN模型到开发板上(python版)

2024-03-07 20:36

本文主要是介绍模型部署——rknn-toolkit-lite2部署RKNN模型到开发板上(python版),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在RKNN模型部署前,需要注意以下几点:

(1)硬件平台兼容性:
确保你的开发板与 RKNN Toolkit Lite2 兼容。目前,RKNN Toolkit Lite2 支持 Rockchip RK3566、RK3588、RK3399 等平台。
确认开发板的 NPU 型号和版本与 RKNN 模型的 NPU 算子兼容。

(2)模型转换:
使用 RKNN Toolkit 或 RKNNConverter 工具将 PyTorch、TensorFlow 等框架模型转换为 RKNN 模型。
转换时,需要指定目标硬件平台和 NPU 型号。
确保模型转换成功,并生成相应的 RKNN 模型文件。
关于模型转换的教程,参考我另外一篇博文:Pytorch转RKNN模型

(3)部署环境:
在开发板上安装 RKNN Runtime 和相关依赖库。
确认开发板的系统版本和编译环境与 RKNN Toolkit Lite2 兼容。

(4)模型加载:
使用 RKNN Toolkit Lite2 提供的 API 加载 RKNN 模型。
需指定模型文件路径以及其他参数。

(5)模型推理:
使用 RKNN Toolkit Lite2 提供的 API 进行模型推理。
需提供输入数据和相关参数。

(6)性能优化:
可以使用 RKNN Toolkit Lite2 提供的性能分析工具分析模型性能。
根据分析结果,可以对模型进行优化,以提高推理速度和降低功耗。

目录

  • 一、源码包准备
  • 二、环境准备
    • 2.1 安装Miniconda
    • 2.2 新建虚拟环境
    • 2.3 安装rknn_toolkit_lite2包
    • 2.4 安装OpenCV包
  • 三、推理
    • 3.1 代码
    • 3.2 开发板推理结果
  • 四、总结

一、源码包准备

本配套源码包的获取方式为文章末扫码到公众号「视觉研坊」中回复关键字:RKNN Lite2开发板部署。获取下载链接。

下载解压后的样子如下:

在这里插入图片描述

二、环境准备

先在开发板上运行rknn_server,通过adb连通开发板,在开发板系统上安装python编译环境。

2.1 安装Miniconda

在开发板系统上安装Miniconda的详细教程,见我另外一篇博客:Miniconda安装

2.2 新建虚拟环境

上一步Miniconda安装好后,在此基础上安装一个新的虚拟环境,如下,:
查看已有虚拟环境命令为:

conda env list

创建新虚拟环境命令为:

conda create -n name python=3.9

在这里插入图片描述
在这里插入图片描述

上面步骤创建好后激活虚拟环境,如下:

激活命令为:

conda activate name

在这里插入图片描述

2.3 安装rknn_toolkit_lite2包

rknn_toolkit_lite2包的轮子文件,在我提供源码包中的packages文件夹中,如下:

在这里插入图片描述

在激活的虚拟环境中,进入到存放轮子文件目录下,使用下面命令安装:

pip install rknn_toolkit_lite2-1.6.0-cp39-cp39-linux_aarch64.whl -i https://pypi.mirrors.ustc.edu.cn/simple/

在这里插入图片描述

2.4 安装OpenCV包

在同样的虚拟环境下,使用下面命令安装opencv:

pip install opencv-python -i https://pypi.mirrors.ustc.edu.cn/simple/

在这里插入图片描述

三、推理

上面环境都准备好后,在终端通过命令进入到源码包目录下,运行下面命令即可在开发板上推理RKNN模型。

python rknntoolkit_lite2_inference.py

在这里插入图片描述

3.1 代码

此代码对应源码包中的rknntoolkit_lite2_inference.py脚本。

from rknnlite.api import RKNNLite
import cv2
import numpy as npdef show_outputs(output):output_sorted = sorted(output,reverse = True)top5_str = '\n----------top5-----------\n'for i in range(5):value = output_sorted[i]index = np.where(output == value)for j in range(len(index)):if (i + j) >= 5:breakif value > 0:top1 = "{}:{}\n".format(index[j],value)else:top1 = "-1:0.0\n"top5_str += top1print(top5_str)def show_perfs(perfs):perfs = "perfs:{}\n".format(perfs)print(perfs)def softmax(x):return np.exp(x)/sum(np.exp(x))if __name__ == "__main__":rknn = RKNNLite()# 使用load_rknn接口直接加载RKNN模型rknn.load_rknn(path="resnet18.rknn")# 调用init_runtime接口初始化运行时环境rknn.init_runtime(core_mask = 0,  # core_mask表示NPU的调度模式,设置为0时表示自由调度,设置为1,2,4时分别表示调度某个单核心,设置为3时表示同时调度0和1两个核心,设置为7时表示1,2,4三个核心同时调度# targt = "rk3588")# 使用Opencv读取图片img = cv2.imread("space_shuttle_224.jpg")img = cv2.cvtColor(img,cv2.COLOR_BGR2RGB)# 调用inference接口进行推理测试output = rknn.inference(inputs=[img],data_format=None)show_outputs(softmax(np.array(output[0][0])))  # 根据概率排名,打印出前5名的概率rknn.release()

3.2 开发板推理结果

运行上面脚本,输出推理结果如下:

在这里插入图片描述

打开源码包中的图片和imagenet1000标签.txt文件对照查看,推理预测的结果与标签文件对应的类名一致,说明开发板推理结果正确,如下:

在这里插入图片描述

四、总结

以上就是rknn-toolkit-lite2部署RKNN模型到开发板上的详细过程,CAPI开发板部署见下一期博文。

总结不易,多多支持,谢谢!

感谢您阅读到最后!关注公众号「视觉研坊」,获取干货教程、实战案例、技术解答、行业资讯!

这篇关于模型部署——rknn-toolkit-lite2部署RKNN模型到开发板上(python版)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/784746

相关文章

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

Python实现特殊字符判断并去掉非字母和数字的特殊字符

《Python实现特殊字符判断并去掉非字母和数字的特殊字符》在Python中,可以通过多种方法来判断字符串中是否包含非字母、数字的特殊字符,并将这些特殊字符去掉,本文为大家整理了一些常用的,希望对大家... 目录1. 使用正则表达式判断字符串中是否包含特殊字符去掉字符串中的特殊字符2. 使用 str.isa

python中各种常见文件的读写操作与类型转换详细指南

《python中各种常见文件的读写操作与类型转换详细指南》这篇文章主要为大家详细介绍了python中各种常见文件(txt,xls,csv,sql,二进制文件)的读写操作与类型转换,感兴趣的小伙伴可以跟... 目录1.文件txt读写标准用法1.1写入文件1.2读取文件2. 二进制文件读取3. 大文件读取3.1

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

基于Python实现读取嵌套压缩包下文件的方法

《基于Python实现读取嵌套压缩包下文件的方法》工作中遇到的问题,需要用Python实现嵌套压缩包下文件读取,本文给大家介绍了详细的解决方法,并有相关的代码示例供大家参考,需要的朋友可以参考下... 目录思路完整代码代码优化思路打开外层zip压缩包并遍历文件:使用with zipfile.ZipFil

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

Python结合PyWebView库打造跨平台桌面应用

《Python结合PyWebView库打造跨平台桌面应用》随着Web技术的发展,将HTML/CSS/JavaScript与Python结合构建桌面应用成为可能,本文将系统讲解如何使用PyWebView... 目录一、技术原理与优势分析1.1 架构原理1.2 核心优势二、开发环境搭建2.1 安装依赖2.2 验

一文详解如何在Python中从字符串中提取部分内容

《一文详解如何在Python中从字符串中提取部分内容》:本文主要介绍如何在Python中从字符串中提取部分内容的相关资料,包括使用正则表达式、Pyparsing库、AST(抽象语法树)、字符串操作... 目录前言解决方案方法一:使用正则表达式方法二:使用 Pyparsing方法三:使用 AST方法四:使用字