适配算能BM1684开发板,bmodel推理模型转换

2024-08-31 05:52

本文主要是介绍适配算能BM1684开发板,bmodel推理模型转换,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

通过mlir转bmodel

一、文件转移

从算能官网technical center (sophgo.com)下载最新的版本,下载下来之后解压出来,再Ubuntu系统中创建一个sophon文件夹存放后续用到的文件,将tpu-mlir_v1.2.8-g32d7b3ec-20230802.tar.gz文件放入Ubuntu系统中的sophon文件夹。

在这里插入图片描述

二、配置docker环境

1、docker安装参考可以参考下面文章

最详细的ubuntu 安装 docker教程 - 知乎 (zhihu.com)

2、安装完成后使用下面命令下载算能docker环境(此步骤是在sophon文件夹中使用)

docker pull sophgo/tpuc_dev:v2.2

3、安装完成后,使用以下命令启动docker环境(此步骤是在sophon文件夹中使用)

docker run --privileged --name myname -v $PWD:/workspace -it sophgo/tpuc_dev:v3.2
# myname只是举个名字的例子, 请指定成自己想要的容器的名字

三、前期准备

1、进入docker环境后,首先运行下面代码解压转换环境。(一行一行运行)

tar zxf tpu-mlir_xxxx.tar.gz
source tpu-mlir_xxxx/envsetup.sh

2、运行下面命令完成前期准备操作。(一行一行运行)如果转换自己的模型这一步可以跳过

mkdir model_yolov5s && cd model_yolov5s
wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.onnx
cp -rf $TPUC_ROOT/regression/dataset/COCO2017 .
cp -rf $TPUC_ROOT/regression/image .
mkdir workspace && cd workspace

3、运行下面命令将yolov5.onnx转换为mlir模型,全部复制使用

model_transform.py \--model_name yolov5s_1684_f32 \--model_def ../yolov5s.onnx \--input_shapes [[4,3,640,640]] \--mean 0.0,0.0,0.0 \--scale 0.0039216,0.0039216,0.0039216 \--keep_aspect_ratio \--pixel_format rgb \--mlir yolov5s_1684_f32.mlir

四、mlir模型转bmodel模型

1、继续上一步操作运行下面命令,转换fp32的适配1684的模型。

model_deploy.py \--mlir yolov5s_1684_f32.mlir \--quantize F32 \--chip bm1684 \--model yolov5s_1684_f32.bmodel

2、运行完成后将该文件夹内的yolov5s_1684_f32.bmodel复制出来即可。

通过nntc转bmodel

第一步

安装Ubuntu,在Ubuntu中配置docker

配置完成

输入 service docker start

在输入 service docker status

如果显示正在运行即可

或输入 sudo docker ps 出现文字即可

第二步

复制sophon-demo到Ubuntu内,解压

第三步

cd进入sophon-demo复制下面内容 在Ubuntu内输入

docker run -v $PWD/:/workspace  -it sophgo/tpuc_dev:latest

cd 进入 tpu-nntc/scripts 输入下面命令(每次都要运行一次)

source ./scritpts/envsetup.sh
第四步

下载yolov5 6.1版本,修改yolo.py文件内 forward函数中的return

return x if self.training else x

再修改export.py文件 转换时的torch环境要为cpu版本 运行时使用MoudelChange虚拟环境 在conda中进入MoudelChange虚拟环境 使用下面命令

$ python export.py --weights person_best.pt --include torchscript

其中person_best.pt为要转换pt文件 将该pt文件放在yolov5 6.1文件夹内,终端运行上述命令即可

出现success即为成功

第五步

打开netron (本地版/在线版都可) 将转化的模型拖入

点击x,查看右边OUTPUTS三个值是否对应相等

相等即可,把person_best.torchscript文件改名为person_best.torchscript.pt放入Ubuntu内的sophon-demo/sample/YOLOv5/models/torch/

cp person_best.torchscript.pt /media/sophon-demo/sample/YOLOv5/models/torch/

ls查看,文件已经放到该文件下,成功

第六步

vim

vim gen_fp32bmodel_nntc.sh

修改内容best.rorchscript.pt文件为自己的文件名称

:wq退出

 ./gen_fp32bmodel_nntc.sh BM1684

使用上述命令运行

出现success即为成功

存在了/workspace/sample/YOLOv5/scripts

这篇关于适配算能BM1684开发板,bmodel推理模型转换的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123067

相关文章

关于集合与数组转换实现方法

《关于集合与数组转换实现方法》:本文主要介绍关于集合与数组转换实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、Arrays.asList()1.1、方法作用1.2、内部实现1.3、修改元素的影响1.4、注意事项2、list.toArray()2.1、方

利用Python脚本实现批量将图片转换为WebP格式

《利用Python脚本实现批量将图片转换为WebP格式》Python语言的简洁语法和库支持使其成为图像处理的理想选择,本文将介绍如何利用Python实现批量将图片转换为WebP格式的脚本,WebP作为... 目录简介1. python在图像处理中的应用2. WebP格式的原理和优势2.1 WebP格式与传统

java Long 与long之间的转换流程

《javaLong与long之间的转换流程》Long类提供了一些方法,用于在long和其他数据类型(如String)之间进行转换,本文将详细介绍如何在Java中实现Long和long之间的转换,感... 目录概述流程步骤1:将long转换为Long对象步骤2:将Longhttp://www.cppcns.c

在Java中将XLS转换为XLSX的实现方案

《在Java中将XLS转换为XLSX的实现方案》在本文中,我们将探讨传统ExcelXLS格式与现代XLSX格式的结构差异,并为Java开发者提供转换方案,通过了解底层原理、性能优势及实用工具,您将掌握... 目录为什么升级XLS到XLSX值得投入?实际转换过程解析推荐技术方案对比Apache POI实现编程

Python使用FFmpeg实现高效音频格式转换工具

《Python使用FFmpeg实现高效音频格式转换工具》在数字音频处理领域,音频格式转换是一项基础但至关重要的功能,本文主要为大家介绍了Python如何使用FFmpeg实现强大功能的图形化音频转换工具... 目录概述功能详解软件效果展示主界面布局转换过程截图完成提示开发步骤详解1. 环境准备2. 项目功能结

使用Python实现网页表格转换为markdown

《使用Python实现网页表格转换为markdown》在日常工作中,我们经常需要从网页上复制表格数据,并将其转换成Markdown格式,本文将使用Python编写一个网页表格转Markdown工具,需... 在日常工作中,我们经常需要从网页上复制表格数据,并将其转换成Markdown格式,以便在文档、邮件或

Python将字符串转换为小写字母的几种常用方法

《Python将字符串转换为小写字母的几种常用方法》:本文主要介绍Python中将字符串大写字母转小写的四种方法:lower()方法简洁高效,手动ASCII转换灵活可控,str.translate... 目录一、使用内置方法 lower()(最简单)二、手动遍历 + ASCII 码转换三、使用 str.tr

Java如何将文件内容转换为MD5哈希值

《Java如何将文件内容转换为MD5哈希值》:本文主要介绍Java如何将文件内容转换为MD5哈希值的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java文件内容转换为MD5哈希值一个完整的Java示例代码代码解释注意事项总结Java文件内容转换为MD5

使用Java将实体类转换为JSON并输出到控制台的完整过程

《使用Java将实体类转换为JSON并输出到控制台的完整过程》在软件开发的过程中,Java是一种广泛使用的编程语言,而在众多应用中,数据的传输和存储经常需要使用JSON格式,用Java将实体类转换为J... 在软件开发的过程中,Java是一种广泛使用的编程语言,而在众多应用中,数据的传输和存储经常需要使用j

Java实现视频格式转换的完整指南

《Java实现视频格式转换的完整指南》在Java中实现视频格式的转换,通常需要借助第三方工具或库,因为视频的编解码操作复杂且性能需求较高,以下是实现视频格式转换的常用方法和步骤,需要的朋友可以参考下... 目录核心思路方法一:通过调用 FFmpeg 命令步骤示例代码说明优点方法二:使用 Jaffree(FF