【Diffusers库】第二篇 快速生成图片

本文主要是介绍【Diffusers库】第二篇 快速生成图片，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

写在前面的话

  这是我们研发的用于 消费决策的AI助理 ，我们会持续优化，欢迎体验与反馈。微信扫描二维码，添加即可。
  官方链接：https://ailab.smzdm.com/

************************************************************** 分割线 *******************************************************************

  随着AI技术的发展，模型参数量越来越大，运行效率成了一个问题。在AIGC方面同样有这样的问题 ，本篇文章介绍一些方法，用于提升图像生成的效率。 本篇是以文生图为例子的，图生图同样适用！
  这篇文章的 搬运性质 多一些！哈哈~ 没有梯子的话，就老老实实在这里看吧！

提速的几个条件

  闲话不说，先实例化模型，使用的模型是"runwayml/stable-diffusion-v1-5"，这个模型可能要5个G左右。下载起来确实很费事。

from diffusers import DiffusionPipeline
# 实例化对象
model_id = "runwayml/stable-diffusion-v1-5"
pipeline = DiffusionPipeline.from_pretrained(model_id, use_safetensors=True)

  本教程将使用的提示词是 “portrait photo of a old warrior chief”，但是你可以随心所欲的想象和构造自己的提示词：

prompt = "portrait photo of a old warrior chief"

1. 硬件

  加速推理的最简单方法之一是将 pipeline 放在 GPU 上 ，就像使用任何 PyTorch 模块一样：

import torchpipeline = pipeline.to("cuda")# 为确保您可以使用相同的图像并对其进行改进，使用 Generator 方法，然后设置一个随机数种子 以确保其 复现性:
generator = torch.Generator("cuda").manual_seed(0)  # 生成图像
image = pipeline(prompt, generator=generator).images[0]
image

  现在，你可以生成一个图像：

2. 精度

  在 T4 GPU 上，这个过程大概要30秒（如果你的 GPU 比 T4 好，可能会更快，笔者用的V100所以会快一些）。在默认情况下，DiffusionPipeline 使用完整的 float32 精度进行 50 步推理。你可以通过降低精度（如 float16 ）或者减少推理步数来加速整个过程

  让我们把模型的精度降低至 float16 ，提升速度是比较明显的，然后生成一张图像：

import torch# 实例化对象
pipeline = DiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16, use_safetensors=True)
pipeline = pipeline.to("cuda")# 生成随机种子 
generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator).images[0]
image      

3. 推理步数

  推理步数的调整会涉及到调度器，因为有的调度器可能4步就搞定了，有的调度器可能20步在可以。
  你可以选择一个更高效的调度器 (scheduler) 可以减少推理步数同时保证输出质量。您可以在 [DiffusionPipeline] 中通过调用compatibles方法找到与当前模型兼容的调度器 (scheduler)。

pipeline.scheduler.compatibles
[diffusers.schedulers.scheduling_lms_discrete.LMSDiscreteScheduler,diffusers.schedulers.scheduling_unipc_multistep.UniPCMultistepScheduler,diffusers.schedulers.scheduling_k_dpm_2_discrete.KDPM2DiscreteScheduler,diffusers.schedulers.scheduling_deis_multistep.DEISMultistepScheduler,diffusers.schedulers.scheduling_euler_discrete.EulerDiscreteScheduler,diffusers.schedulers.scheduling_dpmsolver_multistep.DPMSolverMultistepScheduler,diffusers.schedulers.scheduling_ddpm.DDPMScheduler,diffusers.schedulers.scheduling_dpmsolver_singlestep.DPMSolverSinglestepScheduler,diffusers.schedulers.scheduling_k_dpm_2_ancestral_discrete.KDPM2AncestralDiscreteScheduler,diffusers.schedulers.scheduling_heun_discrete.HeunDiscreteScheduler,diffusers.schedulers.scheduling_pndm.PNDMScheduler,diffusers.schedulers.scheduling_euler_ancestral_discrete.EulerAncestralDiscreteScheduler,diffusers.schedulers.scheduling_ddim.DDIMScheduler,
]

  Stable Diffusion 模型默认使用的是 PNDMScheduler ，通常要大概50步推理, 但是像 DPMSolverMultistepScheduler 这样更高效的调度器只要大概 20 或 25 步推理. 使用 ConfigMixin.from_config() 方法加载新的调度器:

from diffusers import DPMSolverMultistepSchedulerpipeline.scheduler = DPMSolverMultistepScheduler.from_config(pipeline.scheduler.config)  

  现在将 num_inference_steps 设置为 20:

generator = torch.Generator("cuda").manual_seed(0)
image = pipeline(prompt, generator=generator, num_inference_steps=20).images[0]
image  

  太棒了！你成功把推理时间缩短到 4 秒(官方4秒，我的更快)！

3. 内存

  改善 pipeline 性能的另一个关键是减少内存的使用量，这间接意味着速度更快，因为你经常试图最大化每秒生成的图像数量。要想知道你一次可以生成多少张图片，最简单的方法是尝试不同的batch size，直到出现Out Of Memory Error (OOM)。

  创建一个函数，为每一批要生成的图像分配提示词和 Generators 。请务必为每个Generator 分配一个种子，以便于复现良好的结果。

def get_inputs(batch_size=1):generator = [torch.Generator("cuda").manual_seed(i) for i in range(batch_size)]prompts = batch_size * [prompt]num_inference_steps = 20return {"prompt": prompts, "generator": generator, "num_inference_steps": num_inference_steps}     

  设置 batch_size=4 ，然后看一看我们消耗了多少内存:

from diffusers.utils import make_image_grid images = pipeline(**get_inputs(batch_size=4)).images
make_image_grid(images, 2, 2)

  除非你有一个更大内存的GPU, 否则上述代码会返回 OOM 错误! 大部分内存被 cross-attention 层使用。按顺序运行可以节省大量内存，而不是在批处理中进行。你可以为 pipeline 配置 enable_attention_slicing() 函数:

pipeline.enable_attention_slicing()

  现在尝试把 batch_size 增加到 8

images = pipeline(**get_inputs(batch_size=8)).images
make_image_grid(images, rows=2, cols=4)

  以前你不能一批生成 4 张图片，而现在你可以在一张图片里面生成八张图片而只需要大概3.5秒！这可能是 T4 GPU 在不牺牲质量的情况运行速度最快的一种方法。

4. 管道组件

随着diffusers库的更新，管道组件也随着丰富，相继推出了一些高效的出图组件，下面介绍一些新的组件

from diffusers import AutoencoderKLvae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", torch_dtype=torch.float16).to("cuda")
pipeline.vae = vae
images = pipeline(**get_inputs(batch_size=8)).images
image_grid(images, rows=2, cols=4)

提质的几个条件

1. 模型

  稳定扩散模型是一个很好的开始，自正式发布以来，还发布了几个改进版本。然而，使用更新的版本并不意味着你会得到更好的结果。你仍然需要自己尝试不同的模型，并做一些研究。例如想生成的图形是二次元、真人、场景、科幻、3D风格等等，根据自己想要的风格去选择合适的模型事半功倍。可以去hugging face 和 civital 网站上去找，里面有很多图像和模型，可以选择。

  另外，Lora的使用也是可以提升质量的，但他需要训练，也属于模型，所以也放在这里。

2. prompt

  prompt的写法是有讲究的。它属于一个比较庞大的模块。需要花一些时间去学习一下，这里只是简单点一下。推荐去 civital 网站上去看看，网站上的图片有对应的详细参数，其中包括prompt。
  我理解的是prompt 主要包括3个部分：主体、场景、修饰。
  主体和场景是根据实际描述，穿插介绍的，修饰词一般放在最后。

  另外还有一些 起到强调作用的写法， 比如：(被强调词:1.5)。给个例子：
Prompt

masterpiece,professional macro photography, small sprouting  Clover  plant  (symbol of hope, love and faith) in the war zone field,chaotic background, fire,war,  soft bounced lighting, amazing depth of field, shot from a low angle, shot on Lumix GH5 (cinematic bokeh, dynamic range, vibrant colors)

Negative prompt

anime, cartoon, deformed, glitch, noisy, low contrast

这篇关于【Diffusers库】第二篇 快速生成图片的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---