本文主要是介绍字节跳动的 SDXL-LIGHTNING : 体验飞一般的文生图,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
TikTok 的母公司字节跳动推出了最新的文本到图像生成人工智能模型,名为SDXL-Lightning。顾名思义,这个新模型只需很轻量的推理步骤(1,4 或 8 步)即可实现极其快速且高质量的文本到图像生成功能。与原始 SDXL 模型相比,这是一个重大突破,原始 SDXL 模型需要超过 25 个步骤才能达到同等质量。
SDXL-LIGHTNING 简介
虽然 Diffusion 模型在生成任务中取得了出色的结果,但其迭代采样过程既缓慢又计算昂贵。对于实际应用,减少所需的步骤数至关重要。之前的工作尝试了更好的 ODE 求解器、直流和模型蒸馏,但质量在八个或以下的步骤中仍然低于标准。
SDXL 将潜在扩散引入文本到图像的生成,支持高分辨率 1024px 输出。然而,其多步采样进行了 50 多个推论。显然,需要更快的生成速度才能释放扩散模型的全部潜力。这就是 SDXL-Lightning 的用武之地。SDXL-Lightning 通过一步生成 1024 像素来突破界限。
渐进式对抗蒸馏法
SDXL-Lightning 模型同时利用渐进式和对抗性蒸馏。渐进式蒸馏教会学生网络预测密度流上更前方的位置,而对抗性损失则确保学生的预测与教师网络的预测相匹配。
此外,蒸馏过程从 128 步逐步降低到 32 步,再到最后的 1 步,经过多个阶段。在提取具有对抗性损失的模式覆盖率之后,放宽了要求,将质量优先于覆盖率,同时保留整体流程。
这种平衡的方法就是 SDXL-Lightning 能够出色地弥合困扰其他方法的质量保真度权衡的原因。
SDXL-Lightning 中使用的模型是从 StabilityAI 的稳定扩散 XL 基础中提炼出来的。这确保了生成的图像保持高度的稳定性和连贯性。字节跳动提供了 1 步、2 步、4 步和 8 步蒸馏模型的检查点,每个检查点都有自己独特的生成质量。
- sdxl_lightning_1step_x0.safetensors
- sdxl_lightning_2step.safetensors
- Sdxl_lightning_4step.safetensors
- sdxl_lightning_8step.safetensors
性能评估
综合评估表明,SDXL-Lightning 为几步文本到图像生成设定了新的最先进技术。定性评估和 CLIP 评分指标均表明,与 LCM、SDXL-Turbo 和原始SDXL模型相比,SDXL-Lightning 可以生成质量更好的图像。
衡量质量和多样性的定量 Fréchet 起始距离 (FID) 分数与其他方法相当。然而,在 299 像素补丁上计算的 FID(评估高分辨率细节)要好得多,与次佳模型相比,得分低 2 倍以上。这验证了 SDXL-Lightning 在 1024 像素图像中生成了极其出色的细节。
SDXL-LIGHTNING 的配置选项
检查点可用于 1、2、4 和 8 个推理步骤,允许用户根据需要平衡速度与质量。1 步模型一次生成图像,但质量可能不一致,因此通常建议使用两步或更多步。
支持两种架构选项——UNet 和 LoRA。
1. UNET 检查点:2 步、4 步、8 步
UNet 模型使用标准的完整神经网络来调节扩散过程。它们提供最高的图像质量生成,但需要更多内存。BteDance 的 2 步、4 步和 8 步 UNet SDXL-Lightning 模型如下:
- sdxl_lightning_2step_unet.safetensors
- sdxl_lightning_4step_unet.safetensors
- Sdxl_lightning_8step_unet.safetensors
2. LORA 检查点:2 步、4 步、8 步
这些模型还表现出处理不同纵横比的可靠能力,并展示了与现有 LoRA 模块的兼容性,以便在基本模型之间轻松转移。LoRA模型采用轻量级回归方法。图像质量略低于UNet。
但 SDXL-Lightning 现已将 Loras 更新为 .safetensors 文件。这些更新的 .safetensors 文件提供了改进的稳定性和连贯性,从而产生更加真实和视觉上吸引人的图像。Loras 更新为 .safetensors 很有帮助,因为这些压缩文件可以节省存储空间。
- sdxl_lightning_2step_lora.safetensors
- sdxl_lightning_4step_lora.safetensors
- Sdxl_lightning_8step_lora.safetensors
SDXL-LIGHTNING 与 COMFYUI
该模型还可以与 ComfyUI 集成,以获得更人性化的体验。无论您选择 1 步、2 步、4 步、8 步 UNet 还是 2 步、4 步、8 步 UNet loras,ComfyUI 都提供了从文本生成图像的简化工作流程。以下是各个 ComfyUi 工作流程的下载链接:
- ComfyUI 完整的一步工作流程
- ComfyUI 完整的 UNet 工作流程
- ComfyUI LoRA 工作流程
SDXL-LIGHTNING图像生成实例
以下实例是本地搭建的服务器运行SDXL-LIGHTNING模型生成,使用的是 sdxl_lightning_4step.safetensors
。
Prompt: An Asian firefighter with a rugged jawline rushes through the billowing smoke of an autumn blaze.
Prompt: A close-up of an Asian lady with sunglasses.
Prompt: The 90s, a beautiful woman with a radiant smile and long hair, dressed in summer attire.
Prompt: A majestic lion stands proudly on a rock, overlooking the vast African savannah.
Prompt: A monkey making latte art.
Prompt: In a fantastical scene, a creature with a human head and deer body emanates a green light.
Prompt: A delicate porcelain teacup sits on a saucer, its surface adorned with intricate blue patterns.
Prompt: A pickup truck going up a mountain switchback.
Prompt: A tanned woman, dressed in sportswear and sunglasses, climbing a peak with a group during the summer.
Prompt: A dolphin leaps through the waves, set against a backdrop of bright blues and teal hues.
Prompt: A boy jumping off a spaceship.
上手实操视频
本视频是在自己本地搭建的服务器上运行,GPU是NVIDIA RTX-4090。视频未作加速,可以看到,生成图片的速度还是非常快的。
字节跳动SDXL-Lightning文生图模型使用演示
结论
借助 SDXL-Lightning,字节跳动在文本到图像合成方面取得了重大进步。经过 LoRA 训练的模型进一步扩展了即插即用模块的可用性。然而,与其他生成模型一样,传播错误信息或不当内容也存在滥用风险。为了减轻这些担忧,负责任和道德的发展实践是必要的。但总的来说,像 SDXL-Lightning 这样的模型体现了人工智能在计算创造力方面的巨大潜力。其方法也为扩散模型蒸馏研究提供了新的方向。有关更多技术细节,请访问项目 arXiV 论文。
作者个人Blog文章地址:字节跳动的 SDXL-LIGHTNING : 体验飞一般的文生图 - HY's Blog
这篇关于字节跳动的 SDXL-LIGHTNING : 体验飞一般的文生图的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!