DP读书:《ModelArts人工智能应用开发指南》(一)人工智能技术、应用平台

2024-06-06 03:36

本文主要是介绍DP读书:《ModelArts人工智能应用开发指南》(一)人工智能技术、应用平台,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ModelArts

怎么用ModelArts人工智能应用

  • 训练底座
    • 训练案例
  • 盘古矿山模型
    • Main
  • config.py

训练底座

云安全底座

训练案例

在训练案例

盘古矿山模型

盘古矿山模型

Main

下面是快速助手
https://support.huaweicloud.com/qs-modelarts/modelarts_06_0006.html

准备开发环境
在ModelArts控制台的“ 开发环境 > Notebook”页面中,创建基于pytorch1.8-cuda10.2-cudnn7-ubuntu18.04镜像,类型为GPU,规格选择Pnt1或Vnt1系列的Notebook,具体操作请参见创建Notebook实例章节。
如果需要使用本地IDE(PyCharm或VS Code)远程连接Notebook,需要开启SSH远程开发。本案例以在线的JupyterLab为例介绍整个过程。

Notebook创建完成后,状态为“运行中”。单击“操作”栏的“打开”,进入JupyterLab页面。
打开JupyterLab的Terminal。此处以Terminal为例介绍整个过程。JupyterLab更多操作请参见JupyterLab简介及常用操作。
图1 打开Terminal

Step1 创建算法工程
在JupyterLab的Terminal中,在work目录下执行ma-cli createproject命令创建工程,根据提示输入工程名称,例如:water_meter。然后按回车键选择默认参数(连续按五次回车),并选择跳过资产安装步骤(选择6)。
图2 创建工程

执行以下命令进入工程目录。
cd water_meter

执行以下命令复制项目数据到Notebook中。
python manage.py copy --source {obs_dataset_path} --dest ./data/raw/water_meter_crop
python manage.py copy --source {obs_dataset_path} --dest ./data/raw/water_meter_segmentation

说明:
{obs_dataset_path}路径为Step1 准备数据中下载到OBS中的数据集路径,比如“obs://{OBS桶名称}/water_meter_segmentation”和“obs://{OBS桶名称}/water_meter_crop”

图3 复制数据集到Notebook中

Step2 使用deeplabv3完成水表区域分割任务
执行如下命令安装ivgSegmentation套件。
python manage.py install algorithm ivgSegmentation==1.0.2

图4 ivgSegmentation套件安装成功

如果提示ivgSegmentation版本不正确,可以通过命令python manage.py list algorithm查询版本。

安装ivgSegmentation套件后,在JupyterLab界面左侧的工程目录中进入“./algorithms/ivgSegmentation/config/sample”文件夹中查看目前支持的分割模型,以sample为例(sample默认的算法就是deeplabv3),文件夹中包括config.py(算法外壳配置)和deeplabv3_resnet50_standard-sample_512x1024.py(模型结构)。
图5 进入sample文件夹

表盘分割只需要区分背景和读数区域,因此属于二分类,需要根据项目所需数据集对配置文件进行修改,如下所示:
修改“config.py”文件。

图6 修改sample文件夹下的config.py文件

```c
# config.py
alg_cfg = dict(
data_root='data/raw/water_meter_segmentation',   
# 修改为真实路径本地分割数据集路径
```

修改完后按Ctrl+S保存。

修改“deeplabv3_resnet50_standard-sample_512x1024.py”文件。
图7 修改deeplabv3_resnet50_standard-sample_512x1024.py文件

# deeplabv3_resnet50_standard-sample_512x1024.pygpus=[0]
...
data_cfg = dict(...    num_classes=2,  # 修改为2类...    ...    train_scale=(512, 512),  # (h, w)#size全部修改为(512, 512)...    train_crop_size=(512, 512),  # (h, w)...    test_scale=(512, 512),  # (h, w)...    infer_scale=(512, 512),  # (h, w))

修改完按Ctrl+S保存。

在water_meter工程目录下,执行如下命令安装deeplabv3预训练模型。

python manage.py install model ivgSegmentation:deeplab/deeplabv3_resnet50_cityscapes_512x1024

图8 安装deeplabv3预训练模型

执行如下命令训练分割模型。(推荐使用GPU进行训练)

python manage.py run --cfg algorithms/ivgSegmentation/config/sample/config.py --gpus 0

图9 分割模型训练结果

训练好的模型会保存在指定位置中,默认为“./output/deeplabv3_resnet50_standard-sample_512x1024/checkpoints/”中。

验证模型效果。
模型训练完成后,可以在验证集上计算模型的指标,首先修改配置文件的模型位置。

修改“config.py”文件,修改完按Ctrl+S保存。

config.py

...

alg_cfg = dict(

load_from=‘./output/deeplabv3_resnet50_standard-sample_512x1024/checkpoints/checkpoint_best.pth.tar’, # 修改训练模型的路径

)

执行如下命令计算模型指标。

python manage.py run --cfg
algorithms/ivgSegmentation/config/sample/config.py --pipeline evaluate

图10 模型指标计算结果

模型推理。
模型推理能够指定某一张图片,并且推理出图片的分割区域,并进行可视化,首先需要指定需要推理的图片路径。

修改“config.py”文件,修改完按Ctrl+S保存。

alg_cfg = dict(

img_file=‘./data/raw/water_meter_segmentation/image/train_10.jpg’ # 指定需要推理的图片路径

)

执行如下命令推理模型。

python manage.py run --cfg algorithms/ivgSegmentation/config/sample/config.py --pipeline infer

图11 表盘分割模型推理结果

推理输出的图片路径在“./output/deeplabv3_resnet50_standard-sample_512x1024”下。

图12 水表表盘分割结果可视化

执行如下命令导出算法SDK。
python manage.py export --cfg algorithms/ivgSegmentation/config/sample/config.py --is_deploy

算法开发套件支持将模型导出成一个模型SDK,方便进行模型部署等下游任务。SDK导出的路径为“./export/deeplabv3_resnet50_standard-sample_512x1024/Linux_x86_64_GPU_PyTorch_Common_py”

图13 SDK导出路径

图14 SDK导出示意图

Step3 水表读数识别
执行如下命令安装mmocr套件。

这篇关于DP读书:《ModelArts人工智能应用开发指南》(一)人工智能技术、应用平台的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1034984

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

hdu4826(三维DP)

这是一个百度之星的资格赛第四题 题目链接:http://acm.hdu.edu.cn/contests/contest_showproblem.php?pid=1004&cid=500 题意:从左上角的点到右上角的点,每个点只能走一遍,走的方向有三个:向上,向下,向右,求最大值。 咋一看像搜索题,先暴搜,TLE,然后剪枝,还是TLE.然后我就改方法,用DP来做,这题和普通dp相比,多个个向上

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

hdu1011(背包树形DP)

没有完全理解这题, m个人,攻打一个map,map的入口是1,在攻打某个结点之前要先攻打其他一个结点 dp[i][j]表示m个人攻打以第i个结点为根节点的子树得到的最优解 状态转移dp[i][ j ] = max(dp[i][j], dp[i][k]+dp[t][j-k]),其中t是i结点的子节点 代码如下: #include<iostream>#include<algorithm