华为AI框架:MindSpore+MindInsight安装-Ubuntu

2024-05-10 16:48

本文主要是介绍华为AI框架:MindSpore+MindInsight安装-Ubuntu,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MindSpore+MindInsight安装-Ubuntu

MindSpore介绍和安装缘由

MindSpore是华为开源自研AI框架,类似于Pytorch和Tensorflow。因为任务需求,需要将代码转换为MindSpore的版本,故学习和使用。由于现在还在发展中,这个框架还存在一些问题。在安装中我就遇到了一些问题,记录下来希望对其他人有所帮助。

###安装MindSpore

在尝试多种安装方式后,找到了快捷方便的方式。命令如下:

pip install --upgrade mindspore-gpu

这个会安装最新且为GPU版本的MindSpore

如我的安装后的版本信息:

mindspore_gpu-1.2.0-cp38-cp38-manylinux1_x86_64.whl

官网给出的其他安装方式,其中pip方式我安装了没有成功,采用上述我提供的方式就会简单很多。

验证是否成功安装

由于官网给的测试代码是为了推自研的人工智能芯片Ascend,所以提供的测试代码需要修改一行,才符合我们一般的使用者。

测试代码如下:

import numpy as np
from mindspore import Tensor
import mindspore.ops as ops
import mindspore.context as contextcontext.set_context(device_target="GPU")#这里不同,改成GPU了,表示使用GPU。如果是用CPU,这里改成“CPU”即可
x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
print(ops.add(x, y))

结果是值全为2的矩阵,矩阵shape是[1,3,3,4]

安装MindInsight

  • MindInsight为MindSpore提供了简单易用的调优调试能力。在训练过程中,可以将标量、张量、图像、计算图、模型超参、训练耗时等数据记录到文件中,通过MindInsight可视化页面进行查看及分析。

  • 安装MindInsight其实是为了使用MindConverter(为MindInsight的子模块)。MindConverter可以将PyTorch、TensorFlow脚本转换到MindSpore脚本的工具。安装过程中依旧遇到了很多问题,希望我的解决方案能够帮助他人。

官网给出的安装方式。其中pip方式依旧拉垮。可能是我设置不对,反正多种尝试后,均不行。后采用源码编译的方式安装。

从代码仓下载源码
git clone https://gitee.com/mindspore/mindinsight.git

编译和安装我采用以下方式

cd mindinsight
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python setup.py install

遇到的问题

  • Cmake更新,Cmake版本过低问题

    pip install cmake --upgrade
    

    这样就安装到最新版了。

  • npm报错,会有各种报错。经过测试发现就是版本的问题或者npm没有安装。

    sudo apt-get install npm
    npm install -g npm@4.0.0
    

    第一行是安装npm,第二行是调整npm的版本。我的MindInsight是1.2版本,经过测试npm是4.0.0就可以顺利解决了。如果依旧报npm的错,那么请调整npm的版本。修改npm@4.0.0后面的版本号即可。

验证安装是否成功

执行命令:

mindinsight start

提示如下,说明安装成功:

Web address: http://127.0.0.1:8080
service start state: success

MindConverter初体验。

MindConverter是一款用于将PyTorch、TensorFlow脚本转换到MindSpore脚本的工具。为了方便我的代码迁移,想使用提供的工具。由于我的代码是Pytorch,就说一下我的体验和感受。

转换pytorch代码

命令如下,一次只能转换一个py文件。

mindconverter --in_file ./my_model_train.py \--output ./output \--report ./output/report

只需要修改"in_file"为你要转换的代码,output文件夹下就会出现转换后的代码。使用起来非常方便。

report用来说明转换中那些是成功那些还不对的。截取我的转换结果如下:

line 17:0: [UnConvert] 'from torch.utils.data import DataLoader' didn't convert. Please manual convert the code, along with the code associated with it.
line 19:0: [UnConvert] 'from torch.autograd import Variable' didn't convert. Please manual convert the code, along with the code associated with it.
line 20:0: [Convert] 'import torch.nn.functional as F' is converted to 'import mindspore.ops.operations as P'.
line 21:0: [UnConvert] 'import torch.autograd as autograd' didn't convert. Please manual convert the code, along with the code associated with it.
line 22:0: [UnConvert] 'import torch.utils.data as data' didn't convert. Please manual convert the code, along with the code associated with it.

其中UnConvert就是没有转换成功的。这个工具看起来非常方便,但是由于逻辑的不同很多操作还是需要手动去修改。

  • 不推荐使用这个工具作为整体的转换
  • 推荐使用这个工具转换Net部分(如几层的卷积层),对于这部分转换还是很准确的。
  • 转换PyTorch算子的工具。

原文先发布在我个人微信公众号,这里属于转载过来。原文

这篇关于华为AI框架:MindSpore+MindInsight安装-Ubuntu的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/977006

相关文章

python管理工具之conda安装部署及使用详解

《python管理工具之conda安装部署及使用详解》这篇文章详细介绍了如何安装和使用conda来管理Python环境,它涵盖了从安装部署、镜像源配置到具体的conda使用方法,包括创建、激活、安装包... 目录pytpshheraerUhon管理工具:conda部署+使用一、安装部署1、 下载2、 安装3

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》:本文主要介绍了安装和配置AnolisOS23.2系统,包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤,详细内容请阅读本文,希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统,旨

怎么关闭Ubuntu无人值守升级? Ubuntu禁止自动更新的技巧

《怎么关闭Ubuntu无人值守升级?Ubuntu禁止自动更新的技巧》UbuntuLinux系统禁止自动更新的时候,提示“无人值守升级在关机期间,请不要关闭计算机进程”,该怎么解决这个问题?详细请看... 本教程教你如何处理无人值守的升级,即 Ubuntu linux 的自动系统更新。来源:https://

Ubuntu系统怎么安装Warp? 新一代AI 终端神器安装使用方法

《Ubuntu系统怎么安装Warp?新一代AI终端神器安装使用方法》Warp是一款使用Rust开发的现代化AI终端工具,该怎么再Ubuntu系统中安装使用呢?下面我们就来看看详细教程... Warp Terminal 是一款使用 Rust 开发的现代化「AI 终端」工具。最初它只支持 MACOS,但在 20

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址:https://d

LinuxMint怎么安装? Linux Mint22下载安装图文教程

《LinuxMint怎么安装?LinuxMint22下载安装图文教程》LinuxMint22发布以后,有很多新功能,很多朋友想要下载并安装,该怎么操作呢?下面我们就来看看详细安装指南... linux Mint 是一款基于 Ubuntu 的流行发行版,凭借其现代、精致、易于使用的特性,深受小伙伴们所喜爱。对

Linux(Centos7)安装Mysql/Redis/MinIO方式

《Linux(Centos7)安装Mysql/Redis/MinIO方式》文章总结:介绍了如何安装MySQL和Redis,以及如何配置它们为开机自启,还详细讲解了如何安装MinIO,包括配置Syste... 目录安装mysql安装Redis安装MinIO总结安装Mysql安装Redis搜索Red

python安装完成后可以进行的后续步骤和注意事项小结

《python安装完成后可以进行的后续步骤和注意事项小结》本文详细介绍了安装Python3后的后续步骤,包括验证安装、配置环境、安装包、创建和运行脚本,以及使用虚拟环境,还强调了注意事项,如系统更新、... 目录验证安装配置环境(可选)安装python包创建和运行Python脚本虚拟环境(可选)注意事项安装

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i

在Ubuntu上部署SpringBoot应用的操作步骤

《在Ubuntu上部署SpringBoot应用的操作步骤》随着云计算和容器化技术的普及,Linux服务器已成为部署Web应用程序的主流平台之一,Java作为一种跨平台的编程语言,具有广泛的应用场景,本... 目录一、部署准备二、安装 Java 环境1. 安装 JDK2. 验证 Java 安装三、安装 mys