MLU370配置环境以及算子转换流程

2024-04-18 22:28

本文主要是介绍MLU370配置环境以及算子转换流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在MLU370上运行程序,需要把项目代码算子转化一下,算子转换的代码:

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /路径/

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/shixisheng/zjb/StructBERT-base/

相当于把整个项目文件夹都算子转换了

然后建立环境装包

跟本地一样

就是如果你要装transformers的话,需要按照如下方式安装:

git clone -bv4.32.0 https://githubfast.com/huggingface/transformers.git

安装完成后需进行编译,算子转换

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /transformers所在文件夹路径/ 

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/ysl/zjb/transformers/

运行完上一步会出现一个名为transformers_mlu的文件夹,再安装下面的

pip install -e ./transformers_mlu/

到这transformers就装好了

同样的方式安装accelerate==0.22.0 https://githubfast.com/huggingface/accelerate.git

再算子转换再安装

如果你需要装deepspeed的话,需要装另外一个文件,文件见附件。

除了这三个包这样安装,其他的都是直接pip install

然后就是运行代码  和本地一样

简而言之,就是项目文件夹要先转换一下,然后装包的时候,特殊的三个需要先转换再安装,其他都是正常安装,其他都和本地一样。

如果要装deepspeed的话,就安装这个文件

其他:如果需要四卡运行test.py请使用这个命令:

export MLU_VISIBLE_DEVICES=0,1,2,3 && python test.py

这篇关于MLU370配置环境以及算子转换流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/915980

相关文章

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分

mybatis映射器配置小结

《mybatis映射器配置小结》本文详解MyBatis映射器配置,重点讲解字段映射的三种解决方案(别名、自动驼峰映射、resultMap),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定... 目录select中字段的映射问题使用SQL语句中的别名功能使用mapUnderscoreToCame

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

Java实现将HTML文件与字符串转换为图片

《Java实现将HTML文件与字符串转换为图片》在Java开发中,我们经常会遇到将HTML内容转换为图片的需求,本文小编就来和大家详细讲讲如何使用FreeSpire.DocforJava库来实现这一功... 目录前言核心实现:html 转图片完整代码场景 1:转换本地 HTML 文件为图片场景 2:转换 H

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Vite 打包目录结构自定义配置小结

《Vite打包目录结构自定义配置小结》在Vite工程开发中,默认打包后的dist目录资源常集中在asset目录下,不利于资源管理,本文基于Rollup配置原理,本文就来介绍一下通过Vite配置自定义... 目录一、实现原理二、具体配置步骤1. 基础配置文件2. 配置说明(1)js 资源分离(2)非 JS 资

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同