AIGC——ComfyUI使用SDXL双模型的工作流(附件SDXL模型下载)

2024-03-24 02:28

本文主要是介绍AIGC——ComfyUI使用SDXL双模型的工作流(附件SDXL模型下载),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SDXL算法概述

SDXL(Stable Diffusion XL)是Stable Diffusion公司发布的一款图像生成大模型。在以往的模型基础上,SDXL进行了极大的升级,其base模型参数数量达到了35亿,refiner模型参数数量达到了66亿。SDXL与之前的版本最大的不同之处在于它由base基础模型和refiner优化模型两个模型构成,使得用户可以在base模型的基础上再利用优化模型进行绘画,从而更有针对性地优化图像质量。
在这里插入图片描述
在这里,第一个模型被称为基础模型(base model)。而第二个模型则是细化模型,它在基础模型生成的图像基础上进一步细化图像的细节。细化模型与基础模型采用相同的VAE潜在扩散模型,但在训练时仅使用较低的噪声水平。在推断时,仅使用细化模型的图像生成能力。对于一个提示,首先使用基础模型生成潜在表示,然后给这个潜在表示添加一定的噪声(通过扩散过程),并使用细化模型进行去噪。通过这种重新添加和去除噪声的过程,图像的局部细节会有所提升。

级联细化模型实际上相当于一种模型集成策略,这种策略在文本生成图像领域已经得到了应用。例如,NVIDIA在《eDiff-I: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers》中提出了集成不同的扩散模型来提升生成质量。另外,利用潜在扩散的图像生成来提升质量也已经得到了应用,例如Stable Diffusion web UI中的high res fix就是基于图像生成来实现的(结合超分辨率模型)。

细化模型和基础模型在结构上有一定的不同,其UNet结构如下图所示,细化模型采用4个阶段,第一个阶段同样采用没有注意力的DownBlock2D,网络的特征维度为384,而基础模型为320。此外,细化模型的注意力模块中的transformer block数量均设置为4。细化模型的参数量为2.3B,略小于基础模型。

另外,细化模型的文本编码器仅使用了OpenCLIP ViT-bigG,同样提取倒数第二层特征和池化文本嵌入。与基础模型相同,细化模型也使用了大小和裁剪条件,此外还增加了图像的艺术评分(aesthetic-score)作为条件,处理方式与之前相同。细化模型可能没有采用多尺度微调,因此没有引入目标尺寸作为条件(细化模型仅用于图像生成,可以直接适应各种尺度)。

SDXL的优缺点

优点

  1. 更大的体积和分辨率:SDXL的容量相比之前版本大幅增加,支持基于1024*1024的高清图片进行训练,这使得生成的图像更加清晰、细节更加丰富。
  2. 更智能的文字和语言识别:SDXL可以直接生成带有文字的图片,用户可以使用特定的句式来生成带有文字的图片。

1 girl is wearing a helmetthe helmet with the words"SDXL" written on it,
在这里插入图片描述

  1. 同时,SDXL对自然语言的识别能力也得到了提升,不再需要加入大量质量关键词,只需很少的语句就能生成高质量的图片。

A girl with red hair is doing her homework,
在这里插入图片描述

  1. 更好的人体结构:SDXL在人体结构方面有了更精细的控制,一定程度上解决了面部变形和多余肢体等问题。

A solitary, beautiful woman stands gracefully, waiting with an anxious expression on her face,
在这里插入图片描述

  1. 更多的绘画风格:SDXL支持在同一个模型中绘制各种风格的图像,包括照片风格、动漫风格、数字艺术风格、漫画书风格、折纸风格、线条风格、工艺黏土风格、3D模型风格、像素风格等等。

缺点

内存需求更大,对显卡显存的需求也随之增加。SDXL要求至少8GB的显存才能运行,要想流畅使用则需要超过12GB,相比之下,之前的SD1.5对显存的需求较低,最低要求仅为4GB。这也解释了为什么对于一些用户来说,使用SDXL需要配置较高的电脑硬件,而高端显卡的价格也相对较高。

SDXL的ComfyUI工作流搭建

在这里插入图片描述

模型与工作流下载

链接:https://pan.baidu.com/s/1gb6iybzyq71XGumTrguj8w
提取码:byyk
感兴趣可加入:566929147 企鹅群一起学习讨论

这篇关于AIGC——ComfyUI使用SDXL双模型的工作流(附件SDXL模型下载)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/840221

相关文章

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm