AIGC——ComfyUI使用SDXL双模型的工作流(附件SDXL模型下载)

2024-03-24 02:28

本文主要是介绍AIGC——ComfyUI使用SDXL双模型的工作流(附件SDXL模型下载),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SDXL算法概述

SDXL(Stable Diffusion XL)是Stable Diffusion公司发布的一款图像生成大模型。在以往的模型基础上,SDXL进行了极大的升级,其base模型参数数量达到了35亿,refiner模型参数数量达到了66亿。SDXL与之前的版本最大的不同之处在于它由base基础模型和refiner优化模型两个模型构成,使得用户可以在base模型的基础上再利用优化模型进行绘画,从而更有针对性地优化图像质量。
在这里插入图片描述
在这里,第一个模型被称为基础模型(base model)。而第二个模型则是细化模型,它在基础模型生成的图像基础上进一步细化图像的细节。细化模型与基础模型采用相同的VAE潜在扩散模型,但在训练时仅使用较低的噪声水平。在推断时,仅使用细化模型的图像生成能力。对于一个提示,首先使用基础模型生成潜在表示,然后给这个潜在表示添加一定的噪声(通过扩散过程),并使用细化模型进行去噪。通过这种重新添加和去除噪声的过程,图像的局部细节会有所提升。

级联细化模型实际上相当于一种模型集成策略,这种策略在文本生成图像领域已经得到了应用。例如,NVIDIA在《eDiff-I: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers》中提出了集成不同的扩散模型来提升生成质量。另外,利用潜在扩散的图像生成来提升质量也已经得到了应用,例如Stable Diffusion web UI中的high res fix就是基于图像生成来实现的(结合超分辨率模型)。

细化模型和基础模型在结构上有一定的不同,其UNet结构如下图所示,细化模型采用4个阶段,第一个阶段同样采用没有注意力的DownBlock2D,网络的特征维度为384,而基础模型为320。此外,细化模型的注意力模块中的transformer block数量均设置为4。细化模型的参数量为2.3B,略小于基础模型。

另外,细化模型的文本编码器仅使用了OpenCLIP ViT-bigG,同样提取倒数第二层特征和池化文本嵌入。与基础模型相同,细化模型也使用了大小和裁剪条件,此外还增加了图像的艺术评分(aesthetic-score)作为条件,处理方式与之前相同。细化模型可能没有采用多尺度微调,因此没有引入目标尺寸作为条件(细化模型仅用于图像生成,可以直接适应各种尺度)。

SDXL的优缺点

优点

  1. 更大的体积和分辨率:SDXL的容量相比之前版本大幅增加,支持基于1024*1024的高清图片进行训练,这使得生成的图像更加清晰、细节更加丰富。
  2. 更智能的文字和语言识别:SDXL可以直接生成带有文字的图片,用户可以使用特定的句式来生成带有文字的图片。

1 girl is wearing a helmetthe helmet with the words"SDXL" written on it,
在这里插入图片描述

  1. 同时,SDXL对自然语言的识别能力也得到了提升,不再需要加入大量质量关键词,只需很少的语句就能生成高质量的图片。

A girl with red hair is doing her homework,
在这里插入图片描述

  1. 更好的人体结构:SDXL在人体结构方面有了更精细的控制,一定程度上解决了面部变形和多余肢体等问题。

A solitary, beautiful woman stands gracefully, waiting with an anxious expression on her face,
在这里插入图片描述

  1. 更多的绘画风格:SDXL支持在同一个模型中绘制各种风格的图像,包括照片风格、动漫风格、数字艺术风格、漫画书风格、折纸风格、线条风格、工艺黏土风格、3D模型风格、像素风格等等。

缺点

内存需求更大,对显卡显存的需求也随之增加。SDXL要求至少8GB的显存才能运行,要想流畅使用则需要超过12GB,相比之下,之前的SD1.5对显存的需求较低,最低要求仅为4GB。这也解释了为什么对于一些用户来说,使用SDXL需要配置较高的电脑硬件,而高端显卡的价格也相对较高。

SDXL的ComfyUI工作流搭建

在这里插入图片描述

模型与工作流下载

链接:https://pan.baidu.com/s/1gb6iybzyq71XGumTrguj8w
提取码:byyk
感兴趣可加入:566929147 企鹅群一起学习讨论

这篇关于AIGC——ComfyUI使用SDXL双模型的工作流(附件SDXL模型下载)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/840221

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

常用的jdk下载地址

jdk下载地址 安装方式可以看之前的博客: mac安装jdk oracle 版本:https://www.oracle.com/java/technologies/downloads/ Eclipse Temurin版本:https://adoptium.net/zh-CN/temurin/releases/ 阿里版本: github:https://github.com/

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]