Dreambooth Stable Diffusion始化训练环境(AutoDL)

2024-01-15 06:12

本文主要是介绍Dreambooth Stable Diffusion始化训练环境(AutoDL),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

以AutoDL为例

        以下代码源自:赛博华佗——秋叶:

        Akegarasu

环境选择

  1. Miniconda: Miniconda是一个轻量级的Conda环境管理系统。它包含了conda、Python和一些常用的包,以及能够管理安装其他包的能力。Miniconda是Anaconda的一个简化版,Anaconda是一个流行的Python科学计算发行版。

  2. conda3: 这指的是使用Conda环境管理系统,并且特指Python 3的版本。Conda是一个开源的包管理和环境管理系统,常用于科学计算领域,可以用来安装、运行和升级复杂的科学计算环境。

  3. 3.8(ubuntu20.04): 这里指的是使用Python 3.8版本,在Ubuntu 20.04操作系统上。Ubuntu 20.04是一个流行的Linux发行版,Python 3.8是这个版本的Python的一个较新的稳定版本。

  4. 11.3: 这个数字指的是NVIDIA CUDA的版本号,CUDA是NVIDIA开发的用于通用并行计算的编程架构,广泛用于深度学习和高性能计算任务。11.3是CUDA的一个具体版本号。

初始化脚本环境

        clone其项目后,首先利用 conda 创建 python 运行环境后再运行 install.sh

git clone https://github.com/Akegarasu/dreambooth-autodl.git
cd dreambooth-audodl
conda create -n diffusers python=3.10
conda init bash && source /root/.bashrc
conda activate diffusers
conda install ipykernel
ipython kernel install --user --name=diffusers
bash install.sh

        将项目文件夹移动到 /autodl-tmp 后打开 dreambooth-aki.ipynb 运行训练

import sys
import os# 本镜像专属
os.environ["PATH"] = f'/root/miniconda3/envs/diffusers/bin:{os.environ["PATH"]}'
os.environ["HF_HOME"] = ".cache"
DB_SCRIPT_WORK_PATH = os.getcwd() # "/root/autodl-tmp/dreambooth-aki"!python --version
%cd $DB_SCRIPT_WORK_PATHTRAINER = "train_dreambooth.py"
CONVERTER = "convert_v3.py"
BACK_CONVERTER = "back_convert.py"SRC_PATH = "./model-sd"
MODEL_NAME = "./model-hf"# 模型保存路径
OUTPUT_DIR = "./output"
!mkdir -p $OUTPUT_DIR

        这段代码是设置一个Jupyter笔记本的全局变量,主要用于准备环境以便于训练Stable Diffusion模型。代码执行的主要功能如下:

  1. 导入所需的Python库(sysos)。

  2. 设置环境变量:

    • "PATH":添加一个特定的路径到系统的PATH环境变量中,这个路径是针对一个特定的Python环境设置的,以确保可以访问所需的执行文件。
    • "HF_HOME":设置Hugging Face库的缓存目录。
  3. 获取当前工作目录的路径,并将其存储在变量DB_SCRIPT_WORK_PATH中。

  4. 执行系统命令来获取Python的版本信息,并切换到工作目录。

  5. 定义一些脚本和模型相关的变量:

    • TRAINER:用于训练模型的Python脚本文件名。
    • CONVERTER:用于转换模型格式的Python脚本文件名。
    • BACK_CONVERTER:用于将训练好的模型转换回原始格式的Python脚本文件名。
    • SRC_PATH:原始模型文件的路径。
    • MODEL_NAME:转换后的模型文件的保存路径。
  6. 定义模型输出目录OUTPUT_DIR,并创建该目录(如果它不存在的话)。

        这些步骤为接下来的模型训练和转换工作提供了必要的准备。它设置了环境变量、定义了关键文件路径和脚本名称,并确保了输出目录的存在。

    环境变量PATH

        环境变量PATH是操作系统用来查找可执行文件的目录列表。当你运行一个命令时,系统会在PATH中列出的目录里搜索该命令对应的可执行文件。

f'/root/miniconda3/envs/diffusers/bin:{os.environ["PATH"]}'

        这其中的冒号,其实是一个分隔符。。。。。。

        在PATH环境变量中,路径是按照从左到右的顺序进行搜索的。因此,冒号前面的路径(也就是在变量值的最开始的路径)会被优先搜索。如果在这些路径中找不到所需的可执行文件,系统会继续在冒号后面列出的路径中搜索,直到找到所需的可执行文件或者搜索完所有列出的路径。

        在这个特定的例子中,/root/miniconda3/envs/diffusers/bin被添加到了PATH的最前面,所以系统会首先在这个目录中寻找可执行文件。这种方法常用于确保使用特定环境或版本的程序,特别是在有多个版本的程序安装在系统上时。

os.environ["HF_HOME"] = ".cache"

  • os.environ:这是Python中的一个字典,它包含了当前shell环境的所有环境变量。通过修改这个字典,可以改变环境变量的值。

  • "HF_HOME":这是环境变量的名称。HF_HOME是由Hugging Face库使用的特定环境变量,通常用于指定Hugging Face相关文件(如模型缓存、配置文件等)的存储位置。

  • "= .cache":这将HF_HOME的值设置为.cache。这个值是一个相对路径,表示当前目录下的名为.cache的文件夹。

        将HF_HOME设置为.cache的效果是:当使用Hugging Face库(例如,加载模型、下载数据集等)时,它会将所有缓存的数据(如下载的预训练模型)保存到当前工作目录下的.cache文件夹中。这对于管理模型缓存非常有用,特别是在想要控制缓存位置或在多个项目之间共享缓存时。通过这种方式,你可以避免在系统的默认位置(通常是用户的主目录)中堆积过多的缓存文件。

!python --version

       这行代码在Jupyter笔记本中执行一个shell命令,用于检查当前环境中Python的版本。--version参数让Python打印出其版本信息。

DB_SCRIPT_WORK_PATH = os.getcwd() 
# "/root/autodl-tmp/dreambooth-aki"
%cd $DB_SCRIPT_WORK_PATH

   %cd是Jupyter笔记本的魔术命令,用于改变当前工作目录。

OUTPUT_DIR = "./output"
!mkdir -p $OUTPUT_DIR
  • 在Jupyter笔记本中执行一个shell命令,用于创建目录。
  • mkdir是一个常用的Unix/Linux命令,用于创建新的目录。
  • -p参数告诉mkdir命令,如果目录不存在,则创建它;如果目录已经存在,不要报错(不要叫唤)。此外,-p参数还允许创建必要的父目录。

DreamBooth详解

DreamBooth | AiDraw

这篇关于Dreambooth Stable Diffusion始化训练环境(AutoDL)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/607912

相关文章

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址:https://d

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》:本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步

在 VSCode 中配置 C++ 开发环境的详细教程

《在VSCode中配置C++开发环境的详细教程》本文详细介绍了如何在VisualStudioCode(VSCode)中配置C++开发环境,包括安装必要的工具、配置编译器、设置调试环境等步骤,通... 目录如何在 VSCode 中配置 C++ 开发环境:详细教程1. 什么是 VSCode?2. 安装 VSCo

鸿蒙开发搭建flutter适配的开发环境

《鸿蒙开发搭建flutter适配的开发环境》文章详细介绍了在Windows系统上如何创建和运行鸿蒙Flutter项目,包括使用flutterdoctor检测环境、创建项目、编译HAP包以及在真机上运... 目录环境搭建创建运行项目打包项目总结环境搭建1.安装 DevEco Studio NEXT IDE

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本,包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站,手机流量可以访问IPV6网络的服务,为什么不在电脑搭建Home Assistant(hass),来控制你的设备呢?@智能家居 @万物互联