MLU370配置环境以及算子转换流程

2024-04-18 22:28

本文主要是介绍MLU370配置环境以及算子转换流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在MLU370上运行程序,需要把项目代码算子转化一下,算子转换的代码:

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /路径/

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/shixisheng/zjb/StructBERT-base/

相当于把整个项目文件夹都算子转换了

然后建立环境装包

跟本地一样

就是如果你要装transformers的话,需要按照如下方式安装:

git clone -bv4.32.0 https://githubfast.com/huggingface/transformers.git

安装完成后需进行编译,算子转换

python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /transformers所在文件夹路径/ 

例如:python /torch/src/catch/tools/torch_gpu2mlu/torch_gpu2mlu.py -i /workspace/volume/ysl/zjb/transformers/

运行完上一步会出现一个名为transformers_mlu的文件夹,再安装下面的

pip install -e ./transformers_mlu/

到这transformers就装好了

同样的方式安装accelerate==0.22.0 https://githubfast.com/huggingface/accelerate.git

再算子转换再安装

如果你需要装deepspeed的话,需要装另外一个文件,文件见附件。

除了这三个包这样安装,其他的都是直接pip install

然后就是运行代码  和本地一样

简而言之,就是项目文件夹要先转换一下,然后装包的时候,特殊的三个需要先转换再安装,其他都是正常安装,其他都和本地一样。

如果要装deepspeed的话,就安装这个文件

其他:如果需要四卡运行test.py请使用这个命令:

export MLU_VISIBLE_DEVICES=0,1,2,3 && python test.py

这篇关于MLU370配置环境以及算子转换流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/915980

相关文章

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

关于集合与数组转换实现方法

《关于集合与数组转换实现方法》:本文主要介绍关于集合与数组转换实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、Arrays.asList()1.1、方法作用1.2、内部实现1.3、修改元素的影响1.4、注意事项2、list.toArray()2.1、方

Spring Security中用户名和密码的验证完整流程

《SpringSecurity中用户名和密码的验证完整流程》本文给大家介绍SpringSecurity中用户名和密码的验证完整流程,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定... 首先创建了一个UsernamePasswordAuthenticationTChina编程oken对象,这是S

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH(SecureShell)服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs

嵌入式数据库SQLite 3配置使用讲解

《嵌入式数据库SQLite3配置使用讲解》本文强调嵌入式项目中SQLite3数据库的重要性,因其零配置、轻量级、跨平台及事务处理特性,可保障数据溯源与责任明确,详细讲解安装配置、基础语法及SQLit... 目录0、惨痛教训1、SQLite3环境配置(1)、下载安装SQLite库(2)、解压下载的文件(3)、

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程(几C?)1. 使用 nproc(最简单)2. 使用 lscpu(详细信

利用Python脚本实现批量将图片转换为WebP格式

《利用Python脚本实现批量将图片转换为WebP格式》Python语言的简洁语法和库支持使其成为图像处理的理想选择,本文将介绍如何利用Python实现批量将图片转换为WebP格式的脚本,WebP作为... 目录简介1. python在图像处理中的应用2. WebP格式的原理和优势2.1 WebP格式与传统

Android ViewBinding使用流程

《AndroidViewBinding使用流程》AndroidViewBinding是Jetpack组件,替代findViewById,提供类型安全、空安全和编译时检查,代码简洁且性能优化,相比Da... 目录一、核心概念二、ViewBinding优点三、使用流程1. 启用 ViewBinding (模块级

Nginx 重写与重定向配置方法

《Nginx重写与重定向配置方法》Nginx重写与重定向区别:重写修改路径(客户端无感知),重定向跳转新URL(客户端感知),try_files检查文件/目录存在性,return301直接返回永久重... 目录一.try_files指令二.return指令三.rewrite指令区分重写与重定向重写: 请求