适配算能BM1684开发板,bmodel推理模型转换

2024-08-31 05:52

本文主要是介绍适配算能BM1684开发板,bmodel推理模型转换,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

通过mlir转bmodel

一、文件转移

从算能官网technical center (sophgo.com)下载最新的版本,下载下来之后解压出来,再Ubuntu系统中创建一个sophon文件夹存放后续用到的文件,将tpu-mlir_v1.2.8-g32d7b3ec-20230802.tar.gz文件放入Ubuntu系统中的sophon文件夹。

在这里插入图片描述

二、配置docker环境

1、docker安装参考可以参考下面文章

最详细的ubuntu 安装 docker教程 - 知乎 (zhihu.com)

2、安装完成后使用下面命令下载算能docker环境(此步骤是在sophon文件夹中使用)

docker pull sophgo/tpuc_dev:v2.2

3、安装完成后,使用以下命令启动docker环境(此步骤是在sophon文件夹中使用)

docker run --privileged --name myname -v $PWD:/workspace -it sophgo/tpuc_dev:v3.2
# myname只是举个名字的例子, 请指定成自己想要的容器的名字

三、前期准备

1、进入docker环境后,首先运行下面代码解压转换环境。(一行一行运行)

tar zxf tpu-mlir_xxxx.tar.gz
source tpu-mlir_xxxx/envsetup.sh

2、运行下面命令完成前期准备操作。(一行一行运行)如果转换自己的模型这一步可以跳过

mkdir model_yolov5s && cd model_yolov5s
wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.onnx
cp -rf $TPUC_ROOT/regression/dataset/COCO2017 .
cp -rf $TPUC_ROOT/regression/image .
mkdir workspace && cd workspace

3、运行下面命令将yolov5.onnx转换为mlir模型,全部复制使用

model_transform.py \--model_name yolov5s_1684_f32 \--model_def ../yolov5s.onnx \--input_shapes [[4,3,640,640]] \--mean 0.0,0.0,0.0 \--scale 0.0039216,0.0039216,0.0039216 \--keep_aspect_ratio \--pixel_format rgb \--mlir yolov5s_1684_f32.mlir

四、mlir模型转bmodel模型

1、继续上一步操作运行下面命令,转换fp32的适配1684的模型。

model_deploy.py \--mlir yolov5s_1684_f32.mlir \--quantize F32 \--chip bm1684 \--model yolov5s_1684_f32.bmodel

2、运行完成后将该文件夹内的yolov5s_1684_f32.bmodel复制出来即可。

通过nntc转bmodel

第一步

安装Ubuntu,在Ubuntu中配置docker

配置完成

输入 service docker start

在输入 service docker status

如果显示正在运行即可

或输入 sudo docker ps 出现文字即可

第二步

复制sophon-demo到Ubuntu内,解压

第三步

cd进入sophon-demo复制下面内容 在Ubuntu内输入

docker run -v $PWD/:/workspace  -it sophgo/tpuc_dev:latest

cd 进入 tpu-nntc/scripts 输入下面命令(每次都要运行一次)

source ./scritpts/envsetup.sh
第四步

下载yolov5 6.1版本,修改yolo.py文件内 forward函数中的return

return x if self.training else x

再修改export.py文件 转换时的torch环境要为cpu版本 运行时使用MoudelChange虚拟环境 在conda中进入MoudelChange虚拟环境 使用下面命令

$ python export.py --weights person_best.pt --include torchscript

其中person_best.pt为要转换pt文件 将该pt文件放在yolov5 6.1文件夹内,终端运行上述命令即可

出现success即为成功

第五步

打开netron (本地版/在线版都可) 将转化的模型拖入

点击x,查看右边OUTPUTS三个值是否对应相等

相等即可,把person_best.torchscript文件改名为person_best.torchscript.pt放入Ubuntu内的sophon-demo/sample/YOLOv5/models/torch/

cp person_best.torchscript.pt /media/sophon-demo/sample/YOLOv5/models/torch/

ls查看,文件已经放到该文件下,成功

第六步

vim

vim gen_fp32bmodel_nntc.sh

修改内容best.rorchscript.pt文件为自己的文件名称

:wq退出

 ./gen_fp32bmodel_nntc.sh BM1684

使用上述命令运行

出现success即为成功

存在了/workspace/sample/YOLOv5/scripts

这篇关于适配算能BM1684开发板,bmodel推理模型转换的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123067

相关文章

详解如何通过Python批量转换图片为PDF

《详解如何通过Python批量转换图片为PDF》:本文主要介绍如何基于Python+Tkinter开发的图片批量转PDF工具,可以支持批量添加图片,拖拽等操作,感兴趣的小伙伴可以参考一下... 目录1. 概述2. 功能亮点2.1 主要功能2.2 界面设计3. 使用指南3.1 运行环境3.2 使用步骤4. 核

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

C语言中的数据类型强制转换

《C语言中的数据类型强制转换》:本文主要介绍C语言中的数据类型强制转换方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C语言数据类型强制转换自动转换强制转换类型总结C语言数据类型强制转换强制类型转换:是通过类型转换运算来实现的,主要的数据类型转换分为自动转换

Java实现XML与JSON的互相转换详解

《Java实现XML与JSON的互相转换详解》这篇文章主要为大家详细介绍了如何使用Java实现XML与JSON的互相转换,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. XML转jsON1.1 代码目的1.2 代码实现2. JSON转XML3. JSON转XML并输出成指定的

Java实现将Markdown转换为纯文本

《Java实现将Markdown转换为纯文本》这篇文章主要为大家详细介绍了两种在Java中实现Markdown转纯文本的主流方法,文中的示例代码讲解详细,大家可以根据需求选择适合的方案... 目录方法一:使用正则表达式(轻量级方案)方法二:使用 Flexmark-Java 库(专业方案)1. 添加依赖(Ma

QT移植到RK3568开发板的方法步骤

《QT移植到RK3568开发板的方法步骤》本文主要介绍了QT移植到RK3568开发板的方法步骤,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录前言一、获取SDK1. 安装依赖2. 获取SDK资源包3. SDK工程目录介绍4. 获取补丁包二

Java实现将byte[]转换为File对象

《Java实现将byte[]转换为File对象》这篇文章将通过一个简单的例子为大家演示Java如何实现byte[]转换为File对象,并将其上传到外部服务器,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言1. 问题背景2. 环境准备3. 实现步骤3.1 从 URL 获取图片字节数据3.2 将字节数组