适配算能BM1684开发板,bmodel推理模型转换

2024-08-31 05:52

本文主要是介绍适配算能BM1684开发板,bmodel推理模型转换,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

通过mlir转bmodel

一、文件转移

从算能官网technical center (sophgo.com)下载最新的版本,下载下来之后解压出来,再Ubuntu系统中创建一个sophon文件夹存放后续用到的文件,将tpu-mlir_v1.2.8-g32d7b3ec-20230802.tar.gz文件放入Ubuntu系统中的sophon文件夹。

在这里插入图片描述

二、配置docker环境

1、docker安装参考可以参考下面文章

最详细的ubuntu 安装 docker教程 - 知乎 (zhihu.com)

2、安装完成后使用下面命令下载算能docker环境(此步骤是在sophon文件夹中使用)

docker pull sophgo/tpuc_dev:v2.2

3、安装完成后,使用以下命令启动docker环境(此步骤是在sophon文件夹中使用)

docker run --privileged --name myname -v $PWD:/workspace -it sophgo/tpuc_dev:v3.2
# myname只是举个名字的例子, 请指定成自己想要的容器的名字

三、前期准备

1、进入docker环境后,首先运行下面代码解压转换环境。(一行一行运行)

tar zxf tpu-mlir_xxxx.tar.gz
source tpu-mlir_xxxx/envsetup.sh

2、运行下面命令完成前期准备操作。(一行一行运行)如果转换自己的模型这一步可以跳过

mkdir model_yolov5s && cd model_yolov5s
wget https://github.com/ultralytics/yolov5/releases/download/v6.0/yolov5s.onnx
cp -rf $TPUC_ROOT/regression/dataset/COCO2017 .
cp -rf $TPUC_ROOT/regression/image .
mkdir workspace && cd workspace

3、运行下面命令将yolov5.onnx转换为mlir模型,全部复制使用

model_transform.py \--model_name yolov5s_1684_f32 \--model_def ../yolov5s.onnx \--input_shapes [[4,3,640,640]] \--mean 0.0,0.0,0.0 \--scale 0.0039216,0.0039216,0.0039216 \--keep_aspect_ratio \--pixel_format rgb \--mlir yolov5s_1684_f32.mlir

四、mlir模型转bmodel模型

1、继续上一步操作运行下面命令,转换fp32的适配1684的模型。

model_deploy.py \--mlir yolov5s_1684_f32.mlir \--quantize F32 \--chip bm1684 \--model yolov5s_1684_f32.bmodel

2、运行完成后将该文件夹内的yolov5s_1684_f32.bmodel复制出来即可。

通过nntc转bmodel

第一步

安装Ubuntu,在Ubuntu中配置docker

配置完成

输入 service docker start

在输入 service docker status

如果显示正在运行即可

或输入 sudo docker ps 出现文字即可

第二步

复制sophon-demo到Ubuntu内,解压

第三步

cd进入sophon-demo复制下面内容 在Ubuntu内输入

docker run -v $PWD/:/workspace  -it sophgo/tpuc_dev:latest

cd 进入 tpu-nntc/scripts 输入下面命令(每次都要运行一次)

source ./scritpts/envsetup.sh
第四步

下载yolov5 6.1版本,修改yolo.py文件内 forward函数中的return

return x if self.training else x

再修改export.py文件 转换时的torch环境要为cpu版本 运行时使用MoudelChange虚拟环境 在conda中进入MoudelChange虚拟环境 使用下面命令

$ python export.py --weights person_best.pt --include torchscript

其中person_best.pt为要转换pt文件 将该pt文件放在yolov5 6.1文件夹内,终端运行上述命令即可

出现success即为成功

第五步

打开netron (本地版/在线版都可) 将转化的模型拖入

点击x,查看右边OUTPUTS三个值是否对应相等

相等即可,把person_best.torchscript文件改名为person_best.torchscript.pt放入Ubuntu内的sophon-demo/sample/YOLOv5/models/torch/

cp person_best.torchscript.pt /media/sophon-demo/sample/YOLOv5/models/torch/

ls查看,文件已经放到该文件下,成功

第六步

vim

vim gen_fp32bmodel_nntc.sh

修改内容best.rorchscript.pt文件为自己的文件名称

:wq退出

 ./gen_fp32bmodel_nntc.sh BM1684

使用上述命令运行

出现success即为成功

存在了/workspace/sample/YOLOv5/scripts

这篇关于适配算能BM1684开发板,bmodel推理模型转换的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123067

相关文章

Java实现字符串大小写转换的常用方法

《Java实现字符串大小写转换的常用方法》在Java中,字符串大小写转换是文本处理的核心操作之一,Java提供了多种灵活的方式来实现大小写转换,适用于不同场景和需求,本文将全面解析大小写转换的各种方法... 目录前言核心转换方法1.String类的基础方法2. 考虑区域设置的转换3. 字符级别的转换高级转换

Python轻松实现Word到Markdown的转换

《Python轻松实现Word到Markdown的转换》在文档管理、内容发布等场景中,将Word转换为Markdown格式是常见需求,本文将介绍如何使用FreeSpire.DocforPython实现... 目录一、工具简介二、核心转换实现1. 基础单文件转换2. 批量转换Word文件三、工具特性分析优点局

使用C#实现将RTF转换为PDF

《使用C#实现将RTF转换为PDF》RTF(RichTextFormat)是一种通用的文档格式,允许用户在不同的文字处理软件中保存和交换格式化文本,下面我们就来看看如何使用C#实现将RTF转换为PDF... 目录Spire.Doc for .NET 简介安装 Spire.Doc代码示例处理异常总结RTF(R

OFD格式文件及如何适应Python将PDF转换为OFD格式文件

《OFD格式文件及如何适应Python将PDF转换为OFD格式文件》OFD是中国自主研发的一种固定版式文档格式,主要用于电子公文、档案管理等领域,:本文主要介绍OFD格式文件及如何适应Python... 目录前言什么是OFD格式文档?使用python easyofd库将PDF转换为OFD第一步:安装 eas

基于Java实现PPT到PDF的高效转换详解

《基于Java实现PPT到PDF的高效转换详解》在日常开发中,经常会遇到将PPT文档批量或单文件转换为PDF的需求,本文将详细介绍其使用流程、核心代码与常见问题解决方案,希望对大家有所帮助... 目录一、环境配置Maven 配置Gradle 配置二、核心实现:3步完成PPT转PDF1. 单文件转换(基础版)

使用C#实现Excel与DataTable的相互转换

《使用C#实现Excel与DataTable的相互转换》在软件开发中,Excel文件和DataTable是两种广泛使用的数据存储形式,本文将介绍如何通过C#实现Excel文件与Data... 目录安装必要的库从 Excel 导出数据到 DataTable从 DataTable 导入数据到 Excel处理 E

利用Python将PDF文件转换为PNG图片的代码示例

《利用Python将PDF文件转换为PNG图片的代码示例》在日常工作和开发中,我们经常需要处理各种文档格式,PDF作为一种通用且跨平台的文档格式,被广泛应用于合同、报告、电子书等场景,然而,有时我们需... 目录引言为什么选择 python 进行 PDF 转 PNG?Spire.PDF for Python

Java轻松实现PDF转换为PDF/A的示例代码

《Java轻松实现PDF转换为PDF/A的示例代码》本文将深入探讨Java环境下,如何利用专业工具将PDF转换为PDF/A格式,为数字文档的永续保存提供可靠方案,文中的示例代码讲解详细,感兴趣的小伙伴... 目录为什么需要将PDF转换为PDF/A使用Spire.PDF for Java进行转换前的准备通过

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

Java实现将HTML文件与字符串转换为图片

《Java实现将HTML文件与字符串转换为图片》在Java开发中,我们经常会遇到将HTML内容转换为图片的需求,本文小编就来和大家详细讲讲如何使用FreeSpire.DocforJava库来实现这一功... 目录前言核心实现:html 转图片完整代码场景 1:转换本地 HTML 文件为图片场景 2:转换 H