MLU370配置环境以及算子转换流程

2024-04-18 22:28

本文主要是介绍MLU370配置环境以及算子转换流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在MLU370上运行程序,需要把项目代码算子转化一下,算子转换的代码:

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /路径/

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/shixisheng/zjb/StructBERT-base/

相当于把整个项目文件夹都算子转换了

然后建立环境装包

跟本地一样

就是如果你要装transformers的话,需要按照如下方式安装:

git clone -bv4.32.0 https://githubfast.com/huggingface/transformers.git

安装完成后需进行编译,算子转换

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /transformers所在文件夹路径/ 

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/ysl/zjb/transformers/

运行完上一步会出现一个名为transformers_mlu的文件夹,再安装下面的

pip install -e ./transformers_mlu/

到这transformers就装好了

同样的方式安装accelerate==0.22.0 https://githubfast.com/huggingface/accelerate.git

再算子转换再安装

如果你需要装deepspeed的话,需要装另外一个文件,文件见附件。

除了这三个包这样安装,其他的都是直接pip install

然后就是运行代码  和本地一样

简而言之,就是项目文件夹要先转换一下,然后装包的时候,特殊的三个需要先转换再安装,其他都是正常安装,其他都和本地一样。

如果要装deepspeed的话,就安装这个文件

其他:如果需要四卡运行test.py请使用这个命令:

export MLU_VISIBLE_DEVICES=0,1,2,3 && python test.py

这篇关于MLU370配置环境以及算子转换流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/915980

相关文章

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

windos server2022的配置故障转移服务的图文教程

《windosserver2022的配置故障转移服务的图文教程》本文主要介绍了windosserver2022的配置故障转移服务的图文教程,以确保服务和应用程序的连续性和可用性,文中通过图文介绍的非... 目录准备环境:步骤故障转移群集是 Windows Server 2022 中提供的一种功能,用于在多个

windos server2022里的DFS配置的实现

《windosserver2022里的DFS配置的实现》DFS是WindowsServer操作系统提供的一种功能,用于在多台服务器上集中管理共享文件夹和文件的分布式存储解决方案,本文就来介绍一下wi... 目录什么是DFS?优势:应用场景:DFS配置步骤什么是DFS?DFS指的是分布式文件系统(Distr

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

关于Maven中pom.xml文件配置详解

《关于Maven中pom.xml文件配置详解》pom.xml是Maven项目的核心配置文件,它描述了项目的结构、依赖关系、构建配置等信息,通过合理配置pom.xml,可以提高项目的可维护性和构建效率... 目录1. POM文件的基本结构1.1 项目基本信息2. 项目属性2.1 引用属性3. 项目依赖4. 构

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》:本文主要介绍了安装和配置AnolisOS23.2系统,包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤,详细内容请阅读本文,希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统,旨

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址:https://d

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像

Python实现NLP的完整流程介绍

《Python实现NLP的完整流程介绍》这篇文章主要为大家详细介绍了Python实现NLP的完整流程,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 编程安装和导入必要的库2. 文本数据准备3. 文本预处理3.1 小写化3.2 分词(Tokenizatio