diffusers-AutoPipline

2023-11-01 03:44
文章标签 diffusers autopipline

本文主要是介绍diffusers-AutoPipline,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

https://huggingface.co/docs/diffusers/tutorials/autopipelineicon-default.png?t=N7T8https://huggingface.co/docs/diffusers/tutorials/autopipelineAutoPipeline会自动检测要使用的正确流程类,这样可以更轻松地加载与任务相对应的检查点,而无需知道具体的流程类名称。

1.choose an autopipeline for your task

from diffusers import AutoPipelineForText2Image
import torchpipeline = AutoPipelineForText2Image.from_pretrained("runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16, use_safetensors=True
).to("cuda")
prompt = "peasant and dragon combat, wood cutting style, viking era, bevel with rune"image = pipeline(prompt, num_inference_steps=25).images[0]

AutoPipelineForText2Image:

1.自动从model_index.json文件中检测到一个名为"stable-diffusion"的类。2.基于"stable-diffusion"类名加载相应的文本到图像的StableDiffusionPipeline。

from diffusers import AutoPipelineForImage2Imagepipeline = AutoPipelineForImage2Image.from_pretrained("runwayml/stable-diffusion-v1-5",torch_dtype=torch.float16,use_safetensors=True,
).to("cuda")
prompt = "a portrait of a dog wearing a pearl earring"url = "https://upload.wikimedia.org/wikipedia/commons/thumb/0/0f/1665_Girl_with_a_Pearl_Earring.jpg/800px-1665_Girl_with_a_Pearl_Earring.jpg"response = requests.get(url)
image = Image.open(BytesIO(response.content)).convert("RGB")
image.thumbnail((768, 768))image = pipeline(prompt, image, num_inference_steps=200, strength=0.75, guidance_scale=10.5).images[0]

这篇关于diffusers-AutoPipline的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/320233

相关文章

Diffusers代码学习-多个ControlNet组合

可以根据不同的图像输入组合多个ControlNet条件来创建MultiControlNet。为了获得更好的结果,比较有利的做法是: 1. 有选择的进行遮罩,使其不重叠(例如,遮罩canny图像中姿势条件所在的区域) 2. 使用controlnetconditioning_scale参数进行实验,以确定分配给每个条件输入的权重 下面将结合Canny 边缘检测图像和人体姿态估计图像来生成新图像。

Diffusers代码学习-ControlNet(Inpaint)

对于Inpaint,需要一个初始图像、一个蒙版图像和一个描述用什么替换蒙版的提示词。ControlNet模型允许添加另一个控制图片来调节模型。让我们用Inpaint蒙版来调整模型。这样,ControlNet可以使用修复掩模作为控件来引导模型在蒙版区域内生成图像。 # 以下代码为程序运行进行设置 import os os.environ["HF_ENDPOINT"] = "https://

Diffusers代码学习: T2I Adapter

T2I Adapter是一款轻量级适配器,用于控制文本到图像模型并为其提供更准确的结构指导。它通过学习文本到图像模型的内部知识与外部控制信号(如边缘检测或深度估计)之间的对齐来工作。 T2I Adapter的设计很简单,条件被传递到四个特征提取块和三个下采样块。这使得针对不同的条件快速而容易地训练不同的适配器,这些适配器可以插入到文本到图像模型中。T2I Adapter与ControlNet

Diffusers代码学习: 多个Adapter

T2I Adapter也是可组合的,允许您使用多个适配器对图像施加多个控制条件。例如,可以使用姿势贴图提供结构控制,使用深度贴图进行深度控制。这是由[MultiAdapter]类启用的。 让我们用姿势和深度适配器来调节文本到图像的模型。创建深度和姿势图像并将其放置在列表中。 # 以下代码为程序运行进行设置 import os os.environ["HF_ENDPOINT"] = "h

Diffusers代码学习: IP-Adapter Inpainting

IP-Adapter还可以通过Inpainting自动管道和蒙图方式生成目标图片。 # 以下代码为程序运行进行设置,使用Inpainting 的自动管道, import osos.environ["HF_ENDPOINT"] = "https://hf-mirror.com" from diffusers import AutoPipelineForInpainting # 程序需要能够

diffusers 使用脚本导入自定义数据集

在训练扩散模型时,如果附加额外的条件图片数据,则需要我们准备相应的数据集。此时我们可以使用官网提供的脚本模板来控制导入我们需要的数据。 您可以参考官方的教程来实现具体的功能需求,为了更加简洁,我将简单描述一下整个流程的关键点: 首先按照您的需求准备好所有的数据集文件,统一放到一个dataset_name(可以自己定义)目录下,可以划分多个子文件夹,但是需要在您的matadata.json中描述

Diffusers代码学习: IP-Adapter

从操作的角度来看,IP-Adapter和图生图是很相似的,都是有一个原始的图片,加上提示词,生成目标图片。但它们的底层实现方式是完全不一样的,我们通过源码解读来看一下。以下是ip adapter的实现方式 # 以下代码为程序运行进行设置,使用文生图的自动管道, # 图生图实现使用的图生图的自动管道(见这里Diffusers代码学习-图生图) import osos.environ["HF_

使用Docker配置深度学习环境——以diffusers为例

Docker的其他信息可以在我的网站上找到,这里假设安装完成了,直接上手。 git clone 仓库地址 打开docker目录,找到目标版本: sudo docker build diffusers-pytorch-cuda 如果失败,尝试使用换源: sudo nano /etc/docker/daemon.json 把 "registry-mirrors" : ["http

【Diffusers 学习(1)】from_petrained() 中的 use_safetensors 有什么作用?

use_safetensors(bool,可选,默认为None) 如果设置为 None,则在 safetensor 权重可用且已安装 safetensor 库的情况下下载这些权重。如果设置为 True,则会从 safetensor 权重中强制加载模型。如果设置为 False,则不会加载 safetensor 权重。 官方文档:https://huggingface.co/docs/diffus

【Diffusers库】第四篇 训练一个扩散模型(Unconditional)

目录 写在前面的话下载数据模型配置文件加载数据创建一个UNet2DModel创建一个调度器训练模型完整版代码: 写在前面的话   这是我们研发的用于 消费决策的AI助理 ,我们会持续优化,欢迎体验与反馈。微信扫描二维码,添加即可。   官方链接:https://ailab.smzdm.com/ *************************************