并行 云架构 深度框架 sbatch slurm 深度学习 tensorflow环境从搭建到使用 conda

本文主要是介绍并行 云架构 深度框架 sbatch slurm 深度学习 tensorflow环境从搭建到使用 conda,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

有一定的GPU云时常可用,一个节点4个GPU,我本人决定使用anaconda搭建tensorflow1.13并且使用。

anaconda是乙方提供的,使用bash命令可以加载

module load anaconda/3.7

加载后正常使用create命令建立环境

详情见我所有conda标志的博客,其实就是下面一句代码,看明白就不用翻了。

 下面这句代码就从零开始建立了一个tensorflow gpu的环境,版本是1.13,这一句代码,所有的依赖包括cuda,cudnn都保证安装好了。并且不会和任何人包括自己的环境冲突,虚拟环境这个技能真的超级有用且简单。不明白为什么很多人非要看十多篇长达5页的博客,折腾半个月环境,偏偏不愿意花五分钟试试我下面的代码。

conda create --name tenf13 tensorflow-gpu=1.13

上面建立的虚拟环境名字叫做tenf13,名字就是你叫他他就答应的。所以需要点名激活他,你不激活用不了,用完了,你再让他走。虚拟环境就是随叫随到这种的方便,所以可以建立10多种,随便是pytorch,tf,keras,还有各种版本,比如tf1,tf2。

激活环境

注意,必须使用source激活该环境。

source activate tenf13

这个环境就搭建完成了。使用时是这么使用的。

在你的bash代码中。我的实验配置都是用bash代码写得,因为方便。

#!/bin/bash#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH -A para
#SBATCH -p gpu
#SBATCH --gres=gpu:4export HOME=/home/tom/project
module load anaconda/3.7
source activate tenf13

实际上就最后两句有用的激活了环境。export HOME这句我觉着可能是定位anaconda的。这两句激活了环境,下面就可以写自己的代码了。比如

#!/bin/bash#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH -A para
#SBATCH -p gpu
#SBATCH --gres=gpu:4export HOME=/home/tom/project
module load anaconda/3.7
source activate tenf13python test.py

bash 代码也没什么神秘的,就是平时输入命令行的现在输入在一个文件里面而已。

tensorflow代码

之所以写这个是因为,在配置session的config时,需要特别注意一个参数。

否则会出错:CUB segmented reduce errortoo many resources requested for launch

参考:

https://devtalk.nvidia.com/default/topic/1038115/jetson-tx2/cub-segmented-reduce-errortoo-many-resources-requested-for-launch/

config = tf.ConfigProto()
config.gpu_options.allow_growth = Truesession = tf.Session(config=config, ...)

所以在我的实际代码中我是这么写的:

      # Soft placement allows placing on CPU ops without GPU implementation.session_config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=False)#LT add on cloud envsession_config.gpu_options.allow_growth = True

运行与监控

使用sbatch命令可以运行.sh文件。提交的进程会有一个唯一的id,比如会这么回复:

Submitted batch job 6712625

使用squeue可以查看正在运行的id

输出的内容在

slurm-6712625.out

使用vim即可看

 

 

这篇关于并行 云架构 深度框架 sbatch slurm 深度学习 tensorflow环境从搭建到使用 conda的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1128400

相关文章

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm