RKNPU2从入门到实践 --- 【10】RKNPU2零拷贝API实现RKNN模型在RK3588开发板上的部署

2024-08-31 02:12
文章标签 实现 部署 实践 入门 模型 api 拷贝 rknn 开发板 rk3588 rknpu2

本文主要是介绍RKNPU2从入门到实践 --- 【10】RKNPU2零拷贝API实现RKNN模型在RK3588开发板上的部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

一、为什么叫零拷贝API？  

二、零拷贝API执行流程（代码解读）

2.1 前奏工作 

2.2 main.cc文件的编写（代码的编写） 

2.2.1  第一步：rknn_init接口创建rknn_context对象、加载RKNN模型

2.2.2 第二步：调用rknn query接口查询获取到模型输入输出属性、推理时间、SDK版本等信息

2.2.3 第三步：调用rknn_create_mem接口申请内存

2.2.3.1 rknn_create_mem API介绍

2.2.3.2 实际代码编写

2.2.4 第四步：调用rknn_set_io_mem接口让NPU使用上一步申请的内存

2.2.4.1 rknn_set_io_mem API介绍

2.2.4.2 实际代码编写

 2.2.5 第五步：调用rknn_run接口执行模型推理

2.2.6 第六步：对模型推理的输出数据进行后处理

2.2.7 第七步：调用rknn_destroy_mem毁rknn _tensor_mem结构体，释放用户分配的内存

2.2.7.1 rknn_destroy_mem API介绍

2.2.7.2 实际代码编写 

​编辑

2.2.8 第八步：调用rknn_destroy释放传入的rknn_context及其相关资源

2.2.9 最终代码

2.2.10 运行build.sh构建工程

2.2.11 在开发板上完成模型的测试 

      作者使用的开发平台是Ubuntu20.04虚拟系统，开发板为瑞芯微RK3588开发板，开发板上面的系统为Ubuntu22.04。

在上一篇博文【RKNPU2从入门到实践 ---- 【9】使用RKNPU2的C API接口将RKNN模型部署在RK3588开发板上-CSDN博客】中我们介绍了RKNPU2 SDK的通用API，而在这一篇博文中，我们要介绍RKNPU2 SDK的另一套API，即零拷贝API。两套API根据帧数据的更新方式来进行划分。

一、为什么叫零拷贝API？  

      为什么叫零拷贝API呢 ？首先，根据上一篇博文中的代码来回顾 通用API 如何获取帧数据。
首先通过opencv读取了要推理的图片数据，该图片数据保存在了img变量中，如下图所示：

然后，又将该图片数据拷贝到了rknn_input结构体变量buf当中，如下图所示：

在使用rknn_inputs_set设置输入数据时，又会将rknn_input结构体进行传入，最后保存到了context变量当中，如下图所示：

经过多次拷贝（上述操作）之后，才可以进行图片的推理工作。
      以上就是通用API在获取帧数据时的方式，是不是感觉很麻烦呢？接下来我们先来看看零拷贝API使用流程图。 流程图如下图所示：

零拷贝API使用流程

      和之前的通用API使用流程相比，少了数据输入设置（rknn_inputs_set接口）和获取输出数据（rknn_outputs_get接口）的相关步骤， 多出了内存申请（rknn_create_mem接口）和内存使能（rknn_set_io_mem接口）相关的步骤。
      使用opencv获取到图片数据之后，会直接将数据放在申请的内存之中，NPU可以直接对内存中的数据进行读取，而不再像通用API那样对数据进行多次拷贝，所以被称作零拷贝API。
我们使用代码来看看零拷贝API是如何获取帧数据的。

二、零拷贝API执行流程（代码解读）

2.1 前奏工作 

      新建本节内容目录 non_copy_learning ，将上一篇博文的项目文件夹（01_resnet18）中的内容复制过来，删掉build目录和install目录，最终 non_copy_learning 目录下的内容如下图所示：


      将 CMakeLists.txt 文件中的项目名称由：

修改为：

打开main.cc文件，删掉里面的内容，我们从头开始编写代码。
至此，前奏工作已经完成。接下来我们就按照流程图一步一步编写代码。

2.2 main.cc文件的编写（代码的编写） 

2.2.1  第一步：rknn_init接口创建rknn_context对象、加载RKNN模型

 下面的代码使用了rknn_init接口创建rknn_context对象，加载RKNN模型。使用opencv读取推理测试图片的数据。

#include<stdio.h>
#include "rknn_api.h"
#include "opencv2/core/core.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/imgproc.hpp"
#include<string.h> // 后面的memcpy函数的头文件
using namespace cv;int main(int argc,char *argv[]){char *model_path = argv[1]; /*要加载的模型路径*/char *image_path = argv[2]; /*要推理的图片的路径*/rknn_context context; /*创建一个rknn_context类型的结构体变量*/rknn_init(&context,model_path,0,0,NULL); /*将RKNN模型的运行环境和相关信息赋予到context变量当中*//*使用opencv读取推理测试图片*/cv::Mat img = cv::imread(image_path);cv::cvtColor(img,img,cv::COLOR_BGR2RGB);return 0;
}
2.2.2 第二步：调用rknn query接口查询获取到模型输入输出属性、推理时间、SDK版本等信息

由于我们现在不知道要查询什么信息，所以这块的内容暂且忽略。

2.2.3 第三步：调用rknn_create_mem接口申请内存
2.2.3.1 rknn_create_mem API介绍

当用户要 NPU 内部分配内存时，rknn_create_mem 函数可以创建一个 rknn_tensor_mem 结构体并得到它的指针，该函数通过传入内存大小，运行时会初始化 rknn_tensor_mem 结构体。

示例代码如下：

2.2.3.2 实际代码编写

      在调用rknn_create_mem接口申请内存时，我们发现其函数中有一个参数size【分配内存的大小】我们并没有办法确认，因此这就需要使用到rknn_query接口查询输入输出的tensor属性，如下所示：

/*调用rknn_query接口查询输入输出tensor属性*/rknn_tensor_attr input_attr[1],output_attr[1]; /*input_attr，output_attr分别记录输入，输出tensor属性*//*使用memset对这两个变量进行初始化*/memset(input_attr,0,sizeof(rknn_tensor_attr));memset(output_attr,0,sizeof(rknn_tensor_attr));rknn_query(context,RKNN_QUERY_INPUT_ATTR,input_attr,sizeof(input_attr));rknn_query(context,RKNN_QUERY_OUTPUT_ATTR,output_attr,sizeof(output_attr));

接下来，我们才可使用rknn_create_mem接口申请输入输出数据的内存，如下所示：

/*调用rknn_create_mem接口申请输入和输出数据内存*/rknn_tensor_mem *input_mem[1],*output_mem[1];input_mem[0] = rknn_create_mem(context,input_attr[0].size_with_stride);/*size_with_stride表示补齐了无效像素后，实际存储图像数据所占用的内存空间的大小*/output_mem[0] = rknn_create_mem(context,output_attr[0].n_elems*sizeof(float));/*n_elems表示输出数据的元素个数，输出数据所占内存为输出数据的元素个数n_elems乘每个元素所占的空间大小*/

至此，输入和输出数据的内存申请就完成了。
然后使用memcpy函数将要推理的数据加载到刚刚申请的内存中。代码如下所示：

  unsigned char *input_data = img.data;memcpy(input_mem[0]->virt_addr,input_data,input_attr[0].size_with_stride);
📌void * destination
第一个参数的类型是无类型指针(void*),它指向拷贝的目的地内存块,它的作用是为函数提供目的地的内存块起始地址,以便函数能够准确地将内容拷贝到我们需要的内存空间.
📌const void * source
第二个参数的类型是被const修饰(const修饰的指针,const在*左边表示指针指向的内容不可修改,const在*右边表示指针的指向不可修改)的无类型指针(void*),它指向拷贝数据的来源内存块,它的作用是为函数提供拷贝源头内存块起始地址,以便函数能够准确找到拷贝的源头进行拷贝.
📌size_t num
第三个参数的类型是size_t(无符号整形),它表示要拷贝数据的字节数,它的作用是告诉函数需要拷贝的字节数是多少,以便函数精准的拷贝该数目字节数空间的内容到目的地.
🎏函数返回值
函数的返回值类型是无类型指针(void*),它的作用是在函数运行结束后返回拷贝后的目的地内存块的起始地址.
🎏函数头文件
该函数包含在头文件<string.h>中.原文链接：https://blog.csdn.net/weixin_72357342/article/details/132104889
2.2.4 第四步：调用rknn_set_io_mem接口让NPU使用上一步申请的内存
2.2.4.1 rknn_set_io_mem API介绍

如果用户自己为网络输入/输出 tensor 分配内存，初始化相应的 rknn_tensor_mem 结构体后，在调用 rknn_run 前，通过 rknn_set_io_mem 函数可以让 NPU 使用该内存。

示例代码如下：

2.2.4.2 实际代码编写
  /*调用rknn_set_io_mem让NPU使用上面申请到的内存*//*在使用该命令之前，还需要对输入数据和输出数据的tensor数据类型进行设置*/input_attr[0].type = RKNN_TENSOR_UINT8;output_attr[0].type = RKNN_TENSOR_FLOAT32;rknn_set_io_mem(context,input_mem[0],input_attr);rknn_set_io_mem(context,output_mem[0],output_attr);
 2.2.5 第五步：调用rknn_run接口执行模型推理


模型推理完成之后， 会将推理数据保存到输出数据内存中。

2.2.6 第六步：对模型推理的输出数据进行后处理

后处理代码如下所示：

static int rknn_GetTopN(float* pfProb, float* pfMaxProb, uint32_t* pMaxClass, uint32_t outputCount, uint32_t topNum)
{uint32_t i, j;uint32_t top_count = outputCount > topNum ? topNum : outputCount;for (i = 0; i < topNum; ++i) {pfMaxProb[i] = -FLT_MAX;pMaxClass[i] = -1;}for (j = 0; j < top_count; j++) {for (i = 0; i < outputCount; i++) {if ((i == *(pMaxClass + 0)) || (i == *(pMaxClass + 1)) || (i == *(pMaxClass + 2)) || (i == *(pMaxClass + 3)) ||(i == *(pMaxClass + 4))) {continue;}if (pfProb[i] > *(pfMaxProb + j)) {*(pfMaxProb + j) = pfProb[i];*(pMaxClass + j) = i;}}}return 1;
}// Get top 5uint32_t topNum = 5;uint32_t MaxClass[topNum];float    fMaxProb[topNum];float*   buffer    = (float*)output_mem[0]->virt_addr;uint32_t sz        = output_attr[0].n_elems;int      top_count = sz > topNum ? topNum : sz;rknn_GetTopN(buffer, fMaxProb, MaxClass, sz, topNum);printf("---- Top%d ----\n", top_count);for (int j = 0; j < top_count; j++) {printf("%8.6f - %d\n", fMaxProb[j], MaxClass[j]);}

 将上述代码的两个部分分别放至如下位置，如下图所示：

2.2.7 第七步：调用rknn_destroy_mem毁rknn _tensor_mem结构体，释放用户分配的内存
2.2.7.1 rknn_destroy_mem API介绍

rknn_destroy_mem 函数会销毁 rknn_tensor_mem 结构体，用户分配的内存需要自行释放。

示例代码如下：

2.2.7.2 实际代码编写 
2.2.8 第八步：调用rknn_destroy释放传入的rknn_context及其相关资源

 

2.2.9 最终代码

 main.cc文件最终如下所示：

#include<stdio.h>
#include "rknn_api.h"
#include "opencv2/core/core.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/imgproc.hpp"
#include "string.h"
using namespace cv;static int rknn_GetTopN(float* pfProb, float* pfMaxProb, uint32_t* pMaxClass, uint32_t outputCount, uint32_t topNum)
{uint32_t i, j;uint32_t top_count = outputCount > topNum ? topNum : outputCount;for (i = 0; i < topNum; ++i) {pfMaxProb[i] = -FLT_MAX;pMaxClass[i] = -1;}for (j = 0; j < top_count; j++) {for (i = 0; i < outputCount; i++) {if ((i == *(pMaxClass + 0)) || (i == *(pMaxClass + 1)) || (i == *(pMaxClass + 2)) || (i == *(pMaxClass + 3)) ||(i == *(pMaxClass + 4))) {continue;}if (pfProb[i] > *(pfMaxProb + j)) {*(pfMaxProb + j) = pfProb[i];*(pMaxClass + j) = i;}}}return 1;
}int main(int argc,char *argv[]){char *model_path = argv[1]; /*要加载的模型路径*/char *image_path = argv[2]; /*要推理的图片的路径*/rknn_context context; /*创建一个rknn_context类型的结构体变量*/rknn_init(&context,model_path,0,0,NULL); /*将RKNN模型的运行环境和相关信息赋予到context变量当中*//*使用opencv读取推理测试图片*/cv::Mat img = cv::imread(image_path);cv::cvtColor(img,img,cv::COLOR_BGR2RGB);/*调用rknn_query接口查询输入输出tensor属性*/rknn_tensor_attr input_attr[1],output_attr[1]; /*input_attr，output_attr分别记录输入，输出tensor属性*//*使用memset对这两个变量进行初始化*/memset(input_attr,0,sizeof(rknn_tensor_attr));memset(output_attr,0,sizeof(rknn_tensor_attr));rknn_query(context,RKNN_QUERY_INPUT_ATTR,input_attr,sizeof(input_attr));rknn_query(context,RKNN_QUERY_OUTPUT_ATTR,output_attr,sizeof(output_attr));/*调用rknn_create_mem接口申请输入和输出数据内存*/rknn_tensor_mem *input_mem[1],*output_mem[1];input_mem[0] = rknn_create_mem(context,input_attr[0].size_with_stride);/*size_with_stride表示补齐了无效像素后，实际存储图像数据所占用的内存空间的大小*/output_mem[0] = rknn_create_mem(context,output_attr[0].n_elems*sizeof(float));/*n_elems表示输出数据的元素个数，输出数据所占内存为输出数据的元素个数n_elems乘每个元素所占的空间大小*//**/unsigned char *input_data = img.data;memcpy(input_mem[0]->virt_addr,input_data,input_attr[0].size_with_stride);/*调用rknn_set_io_mem让NPU使用上面申请到的内存*//*在使用该命令之前，还需要对输入数据和输出数据的tensor数据类型进行设置*/input_attr[0].type = RKNN_TENSOR_UINT8;output_attr[0].type = RKNN_TENSOR_FLOAT32;rknn_set_io_mem(context,input_mem[0],input_attr);rknn_set_io_mem(context,output_mem[0],output_attr);/*调用rknn_run接口进行模型推理*/rknn_run(context,NULL);/*后处理操作*/// Get top 5uint32_t topNum = 5;uint32_t MaxClass[topNum];float    fMaxProb[topNum];float*   buffer    = (float*)output_mem[0]->virt_addr;uint32_t sz        = output_attr[0].n_elems;int      top_count = sz > topNum ? topNum : sz;rknn_GetTopN(buffer, fMaxProb, MaxClass, sz, topNum);printf("---- Top%d ----\n", top_count);for (int j = 0; j < top_count; j++) {printf("%8.6f - %d\n", fMaxProb[j], MaxClass[j]);}/*调用rknn_destroy_mem接口销毁申请的内存*/rknn_destroy_mem(context,input_mem[0]); // 销毁输入数据内存rknn_destroy_mem(context,output_mem[0]); // 销毁输出数据内存/*调用rknn_destory销毁context对象*/rknn_destroy(context);return 0;
}
2.2.10 运行build.sh构建工程



      项目文件夹中多出了build目录和install目录，将install目录拷贝到开发板系统根目录上，如下图所示，这跟上一篇博文中提到的操作流程一至，在这里就不过多赘述了。

2.2.11 在开发板上完成模型的测试 

使用 adb shell 命令切换至开发板终端，如下图所示：

在开发板上打开install目录，如下图所示：

进入 non_copy_Linux中，如下图所示：

通过 ./non_copy 运行模型，如下图所示：

得到运行结果：

推理测试成功。
至此，使用零拷贝API编写的RKNPU2推理程序也就测试完成了！！

 

这篇关于RKNPU2从入门到实践 --- 【10】RKNPU2零拷贝API实现RKNN模型在RK3588开发板上的部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1122592。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2