并行 云架构 深度框架 sbatch slurm 深度学习 tensorflow环境从搭建到使用 conda

本文主要是介绍并行 云架构 深度框架 sbatch slurm 深度学习 tensorflow环境从搭建到使用 conda,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

有一定的GPU云时常可用,一个节点4个GPU,我本人决定使用anaconda搭建tensorflow1.13并且使用。

anaconda是乙方提供的,使用bash命令可以加载

module load anaconda/3.7

加载后正常使用create命令建立环境

详情见我所有conda标志的博客,其实就是下面一句代码,看明白就不用翻了。

 下面这句代码就从零开始建立了一个tensorflow gpu的环境,版本是1.13,这一句代码,所有的依赖包括cuda,cudnn都保证安装好了。并且不会和任何人包括自己的环境冲突,虚拟环境这个技能真的超级有用且简单。不明白为什么很多人非要看十多篇长达5页的博客,折腾半个月环境,偏偏不愿意花五分钟试试我下面的代码。

conda create --name tenf13 tensorflow-gpu=1.13

上面建立的虚拟环境名字叫做tenf13,名字就是你叫他他就答应的。所以需要点名激活他,你不激活用不了,用完了,你再让他走。虚拟环境就是随叫随到这种的方便,所以可以建立10多种,随便是pytorch,tf,keras,还有各种版本,比如tf1,tf2。

激活环境

注意,必须使用source激活该环境。

source activate tenf13

这个环境就搭建完成了。使用时是这么使用的。

在你的bash代码中。我的实验配置都是用bash代码写得,因为方便。

#!/bin/bash#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH -A para
#SBATCH -p gpu
#SBATCH --gres=gpu:4export HOME=/home/tom/project
module load anaconda/3.7
source activate tenf13

实际上就最后两句有用的激活了环境。export HOME这句我觉着可能是定位anaconda的。这两句激活了环境,下面就可以写自己的代码了。比如

#!/bin/bash#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH -A para
#SBATCH -p gpu
#SBATCH --gres=gpu:4export HOME=/home/tom/project
module load anaconda/3.7
source activate tenf13python test.py

bash 代码也没什么神秘的,就是平时输入命令行的现在输入在一个文件里面而已。

tensorflow代码

之所以写这个是因为,在配置session的config时,需要特别注意一个参数。

否则会出错:CUB segmented reduce errortoo many resources requested for launch

参考:

https://devtalk.nvidia.com/default/topic/1038115/jetson-tx2/cub-segmented-reduce-errortoo-many-resources-requested-for-launch/

config = tf.ConfigProto()
config.gpu_options.allow_growth = Truesession = tf.Session(config=config, ...)

所以在我的实际代码中我是这么写的:

      # Soft placement allows placing on CPU ops without GPU implementation.session_config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=False)#LT add on cloud envsession_config.gpu_options.allow_growth = True

运行与监控

使用sbatch命令可以运行.sh文件。提交的进程会有一个唯一的id,比如会这么回复:

Submitted batch job 6712625

使用squeue可以查看正在运行的id

输出的内容在

slurm-6712625.out

使用vim即可看

 

 

这篇关于并行 云架构 深度框架 sbatch slurm 深度学习 tensorflow环境从搭建到使用 conda的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1128400

相关文章

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

Spring Boot3虚拟线程的使用步骤详解

《SpringBoot3虚拟线程的使用步骤详解》虚拟线程是Java19中引入的一个新特性,旨在通过简化线程管理来提升应用程序的并发性能,:本文主要介绍SpringBoot3虚拟线程的使用步骤,... 目录问题根源分析解决方案验证验证实验实验1:未启用keep-alive实验2:启用keep-alive扩展建

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Java异常架构Exception(异常)详解

《Java异常架构Exception(异常)详解》:本文主要介绍Java异常架构Exception(异常),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. Exception 类的概述Exception的分类2. 受检异常(Checked Exception)

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

GORM中Model和Table的区别及使用

《GORM中Model和Table的区别及使用》Model和Table是两种与数据库表交互的核心方法,但它们的用途和行为存在著差异,本文主要介绍了GORM中Model和Table的区别及使用,具有一... 目录1. Model 的作用与特点1.1 核心用途1.2 行为特点1.3 示例China编程代码2. Tab

Python GUI框架中的PyQt详解

《PythonGUI框架中的PyQt详解》PyQt是Python语言中最强大且广泛应用的GUI框架之一,基于Qt库的Python绑定实现,本文将深入解析PyQt的核心模块,并通过代码示例展示其应用场... 目录一、PyQt核心模块概览二、核心模块详解与示例1. QtCore - 核心基础模块2. QtWid

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp