【从零开始部署SAM（Segment Anything Model ）大模型 3 Ubuntu20 离线部署 C++】

2024-06-04 21:28
文章标签 c++ 部署 模型 model 从零开始 离线 ubuntu20 sam segment anything

本文主要是介绍【从零开始部署SAM（Segment Anything Model ）大模型 3 Ubuntu20 离线部署 C++】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这里是目录

  • 总览
  • 环境配置
  • 模型准备
    • Moble SAM onnx模型获取
    • Moble SAM pre onnx模型获取
  • 运行
    • cmakelist
  • 运行结果

总览

相比于使用python离线部署SAM大模型，C++要麻烦的多，本篇的部署过程主要基于项目：https://github.com/dinglufe/segment-anything-cpp-wrapper

环境配置

模型准备

通过C++进行部署的主要原因就是希望能够有效的提升运行效率减少推理耗时，SAM大模型的官方网站中提供了vit_h，vit_l，vit_b三种大小不同的模型参数，在我们的实际运行中发现，以vit_h参数为例，对于一帧图像的整体运算时间高达6000ms（读取图像+推理+获得掩膜并显示），因此我们认为SAM的三种参数都不适用于C++的部署工作，我们最终选择了MobileSAM作为C++的实际部署模型

在项目中需要处理模型mobilesam.onnx和预处理模型mobilesam_process.onnx
在当前以有项目和博客指导这两种模型应该如何获取，但是都太过于笼统对初学者并不友好，在当初运行时走了很多弯路，在此给出详细步骤过程

Moble SAM onnx模型获取

懒彦祖传送门：

https://download.csdn.net/download/qq_43649786/89380411
这部分在mobilesam的官方项目中给出了方法https://github.com/ChaoningZhang/MobileSAM#onnx-export
非常详细，需要注意的是需要安装onnx=1.12.0 && onnxruntime=1.13.1

  1. 创建conda环境并激活
conda create --name mobilesam python=3.8
conda activate mobilesam
  1. 下载源码并配置环境（在此默认已安装pytorch和torchvision）
pip install git+https://github.com/ChaoningZhang/MobileSAM.git
#如果不准备跑app.py下述可以不用
pip install gradio
#安装完后可能会出现打不开spyder的情况，运行以下指令
pip install Spyder
  1. 运行onnx生成文件
    注意此时系统的路径是在下载的源码内
python scripts/export_onnx_model.py --checkpoint ./weights/mobile_sam.pt --model-type vit_t --output ./mobile_sam.onnx

这么详细还搞不定我就真没办法了，彦祖

Moble SAM pre onnx模型获取

懒彦祖传送门：
https://download.csdn.net/download/qq_43649786/89380451

预训练的部分在部署项目中给出了代码
https://github.com/dinglufe/segment-anything-cpp-wrapper/blob/main/export_pre_model.py
但是同样有一些需要注意的点，首先在头文件的引用中需要将import segment_anything as SAM更改为import mobile_sam as SAM
需要注意的是如果没有在conda环境中配置mobileSAM环境和会出现问题，同时将SAM和mobileSAM同时安装在一个conda环境也有可能报错，在此建议分别安装

# import segment_anything as SAM
import mobile_sam as SAM

此处还需要一个mobileSAM 的.pt模型文件，在官方的项目中可自行下载：
https://github.com/ChaoningZhang/MobileSAM#onnx-export

完整代码

import torch
import numpy as np
import osfrom segment_anything.utils.transforms import ResizeLongestSidefrom onnxruntime.quantization import QuantType
from onnxruntime.quantization.quantize import quantize_dynamicoutput_names = ['output']# Gener
# Mobile-SAM
# # Download Mobile-SAM model "mobile_sam.pt" from https://github.com/ChaoningZhang/MobileSAM/blob/master/weights/mobile_sam.pt
import mobile_sam as SAM
checkpoint = 'mobile_sam.pt'
model_type = 'vit_t'
output_path = 'models/mobile_sam_preprocess.onnx'
quantize = False# Target image size is 1024x720
image_size = (1024, 720)output_raw_path = output_path
if quantize:# The raw directory can be deleted after the quantization is doneoutput_name = os.path.basename(output_path).split('.')[0]output_raw_path = '{}/{}_raw/{}.onnx'.format(os.path.dirname(output_path), output_name, output_name)
os.makedirs(os.path.dirname(output_raw_path), exist_ok=True)sam = SAM.sam_model_registry[model_type](checkpoint=checkpoint)
sam.to(device='cpu')
transform = ResizeLongestSide(sam.image_encoder.img_size)image = np.zeros((image_size[1], image_size[0], 3), dtype=np.uint8)
input_image = transform.apply_image(image)
input_image_torch = torch.as_tensor(input_image, device='cpu')
input_image_torch = input_image_torch.permute(2, 0, 1).contiguous()[None, :, :, :]class Model(torch.nn.Module):def __init__(self, image_size, checkpoint, model_type):super().__init__()self.sam = SAM.sam_model_registry[model_type](checkpoint=checkpoint)self.sam.to(device='cpu')self.predictor = SAM.SamPredictor(self.sam)self.image_size = image_sizedef forward(self, x):self.predictor.set_torch_image(x, (self.image_size))if 'interm_embeddings' not in output_names:return self.predictor.get_image_embedding()else:return self.predictor.get_image_embedding(), torch.stack(self.predictor.interm_features, dim=0)model = Model(image_size, checkpoint, model_type)
model_trace = torch.jit.trace(model, input_image_torch)
torch.onnx.export(model_trace, input_image_torch, output_raw_path,input_names=['input'], output_names=output_names)if quantize:quantize_dynamic(model_input=output_raw_path,model_output=output_path,per_channel=False,reduce_range=False,weight_type=QuantType.QUInt8,)

运行

cmakelist

cmake_minimum_required(VERSION 3.21)
set(CMAKE_CXX_STANDARD 17)project(SamCPP)find_package(OpenCV CONFIG REQUIRED)
find_package(gflags CONFIG REQUIRED)set(ONNXRUNTIME_ROOT_DIR /home/ubuntu/onnxruntime-linux-x64-gpu-1.14.1)add_library(sam_cpp_lib SHARED sam.h sam.cpp click_sample.cpp)
set(onnxruntime_lib ${ONNXRUNTIME_ROOT_DIR}/lib/libonnxruntime.so)
target_include_directories(sam_cpp_lib PRIVATE ${ONNXRUNTIME_ROOT_DIR}/include)
target_link_libraries(sam_cpp_lib PRIVATE${onnxruntime_lib}${OpenCV_LIBS}
)add_executable(sam_cpp_test test.cpp)
target_link_libraries(sam_cpp_test PRIVATEsam_cpp_lib${OpenCV_LIBS}gflags
)

缺啥安啥

更改test.cpp中的路径：

DEFINE_string(pre_model, "models/mobile_sam_preprocess.onnx", "Path to the preprocessing model");
DEFINE_string(sam_model, "models/mobile_sam.onnx", "Path to the sam model");
DEFINE_string(image, "images/input.jpg", "Path to the image to segment");
DEFINE_string(pre_device, "cpu", "cpu or cuda:0(1,2,3...)");
DEFINE_string(sam_device, "cpu", "cpu or cuda:0(1,2,3...)");

确保以上路径都正确且可以访问到文件
在项目主文件夹内打开终端

编译

mkdir build
cd build
cmake ..
make -j2

cd ..
./build/sam_cpp_test

运行结果

在这里插入图片描述
在这里插入图片描述

都看到这了，点个赞再走吧彦祖

这篇关于【从零开始部署SAM（Segment Anything Model ）大模型 3 Ubuntu20 离线部署 C++】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1031163。

相关文章

Jenkins中自动化部署Spring Boot项目的全过程

Jenkins中自动化部署Spring Boot项目的全过程

《Jenkins中自动化部署SpringBoot项目的全过程》：本文主要介绍如何使用Jenkins从Git仓库拉取SpringBoot项目并进行自动化部署,通过配置Jenkins任务,实现项目的... 目录准备工作启动 Jenkins配置 Jenkins创建及配置任务源码管理构建触发器构建构建后操作构建任务
阅读更多...
Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

《Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)》：本文主要介绍Python基于火山引擎豆包大模型搭建QQ机器人详细的相关资料,包括开通模型、配置APIKEY鉴权和SD... 目录豆包大模型概述开通模型付费安装 SDK 环境配置 API KEY 鉴权Ark 模型接口Prompt
阅读更多...
在 VSCode 中配置 C++ 开发环境的详细教程

在 VSCode 中配置 C++ 开发环境的详细教程

《在VSCode中配置C++开发环境的详细教程》本文详细介绍了如何在VisualStudioCode（VSCode）中配置C++开发环境,包括安装必要的工具、配置编译器、设置调试环境等步骤,通... 目录如何在 VSCode 中配置 C++ 开发环境：详细教程1. 什么是 VSCode？2. 安装 VSCo
阅读更多...
若依部署Nginx和Tomcat全过程

若依部署Nginx和Tomcat全过程

《若依部署Nginx和Tomcat全过程》文章总结了两种部署方法：Nginx部署和Tomcat部署,Nginx部署包括打包、将dist文件拉到指定目录、配置nginx.conf等步骤,Tomcat部署... 目录Nginx部署后端部署Tomcat部署出现问题：点击刷新404总结Nginx部署第一步：打包
阅读更多...
Nginx、Tomcat等项目部署问题以及解决流程

Nginx、Tomcat等项目部署问题以及解决流程

《Nginx、Tomcat等项目部署问题以及解决流程》本文总结了项目部署中常见的four类问题及其解决方法：Nginx未按预期显示结果、端口未开启、日志分析的重要性以及开发环境与生产环境运行结果不一致... 目录前言1. Nginx部署后未按预期显示结果1.1 查看Nginx的启动情况1.2 解决启动失败的
阅读更多...
C++11的函数包装器std::function使用示例

C++11的函数包装器std::function使用示例

《C++11的函数包装器std::function使用示例》C++11引入的std::function是最常用的函数包装器,它可以存储任何可调用对象并提供统一的调用接口,以下是关于函数包装器的详细讲解... 目录一、std::function 的基本用法1. 基本语法二、如何使用 std::function
阅读更多...
闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
【C++ Primer Plus习题】13.4

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<
阅读更多...
C++包装器

C++包装器

包装器 在 C++ 中，“包装器”通常指的是一种设计模式或编程技巧，用于封装其他代码或对象，使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍，可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型： 1. 函数包装器 函数包装器用于封装一个或多个函数，使其接口更统一或更便于调用。例如，std::function 是一个通用的函数包装器，它可以存储任意可调用对象（函数、函数
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2