字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接

本文主要是介绍字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2024 年 8 月 26 日,字节开源了 FLUX Dev 的 Haper SD Lora。 只需要 8 步或者 16 步就可以用 FLUX 生成图片,大幅减少 FLUX 的生成时间。

建议 LoRA 比例约为 0.125,该比例可适应训练和指导,比例可保持在 3.5。较低步骤的 LoRA 即将推出。

大家可以点击下面文章链接, 文章包含模型下载链接,试用地址,项目介绍等,也欢迎大家关注公众号AIGC Studio。

字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片!

为了让更多的人体验到Hyper SD Lora的神奇效果,字节跳动在Huggingface上设立了演示空间。在这里可以直观地感受到FLUX8步Lora的绘图效果,亲眼见证AI绘图技术的飞跃。

相关链接

论文地址:https://arxiv.org/pdf/2404.13686 项目地址:https://hyper-sd.github.io/

模型链接:https://huggingface.co/ByteDance/Hyper-SD

试用地址:https://huggingface.co/spaces/ByteDance/Hyper-FLUX-8Steps-LoRA

论文阅读

Hyper-SD:用于高效图像合成的轨迹分段一致性模型

摘要

最近,出现了一系列考虑扩散的蒸馏算法,以减轻与扩散模型 (DM) 的多步推理过程相关的计算开销。当前的蒸馏技术通常分为两个不同的方面:i)ODE 轨迹保存;ii)ODE 轨迹重构。然而,这些方法存在严重的性能下降或领域转移。

为了解决这些限制,我们提出了Hyper-SD,这是一个新颖的框架,它协同融合了 ODE 轨迹保存和重构的优点,同时在步骤压缩期间保持近乎无损的性能。首先,我们引入轨迹分段一致性蒸馏,以在预定义的时间步长段内逐步执行一致性蒸馏,这有助于从高阶角度保留原始 ODE 轨迹。其次,我们结合人工反馈学习来提高模型在低步长范围内的性能,并减轻蒸馏过程造成的性能损失。第三,我们集成了分数蒸馏,以进一步提高模型的低步生成能力,并首次尝试利用统一的 LoRA 支持所有步骤的推理过程。

大量实验和用户研究表明,对于 SDXL 和 SD1.5,Hyper-SD 在 1 到 8 个推理步骤中都实现了 SOTA 性能。例如,在 1 步推理中,Hyper-SDXL 在 CLIP 分数上超过 SDXL-Lightning +0.68 ,在 Aes 分数上 超过 +0.51 。

方法

Hyper-SD 采用两阶段渐进式一致性蒸馏。第一阶段在两个不同的时间段 [0, T/2] 和 [T/2 , T] 进行一致性蒸馏,以获得两段一致性 ODE。然后,在后续阶段采用此 ODE 轨迹来训练全局一致性模型。

实验

Hyper-SD 与其他方法之间的视觉比较。从第一列到第四列,这些图像的提示分别是

  1. 一只穿着白色 T 恤的狗,上面写着 "hyper" 一词…

  2. 抽象美、接近完美、纯粹的形式、黄金比例、简约、未完成…

  3. 一颗水晶心躺在宁静的禅宗花园的苔藓上……

  4. 科学家雄鹿的拟人化艺术,维多利亚风格的服装,由 krenz cushart 创作...。

Hyper-SD 与 SDXL 架构上其他基于 LoRA 的加速方法之间的定性比较。

Hyper-SD 与其他基于 LoRA 的加速方法在 SD15 架构上的定性比较。

Hyper-SD 与现有的专注于加速的方法相比表现出了显著的优势,并在 SD1.5 和 SDXL 架构上获得了更多的用户偏好。

具有不同步骤的 Hyper-SD LoRA 可应用于不同的基础模型,并持续生成高质量图像

Hyper-SD 的统一 LoRA 与 ControlNet 兼容。示例以涂鸦或精明图像为条件。

结论

我们提出了 Hyper-SD,这是一个统一的框架,可最大限度地提高扩散模型的几步生成能力,在 SDXL 和 SD15 的基础上实现了新的 SOTA 性能。通过采用轨迹分段一致性蒸馏,我们增强了蒸馏过程中的轨迹保存能力,接近原始模型的生成能力。然后,人工反馈学习和变分分数蒸馏激发了少步推理的潜力,从而为生成模型提供了更优化和更高效的轨迹。我们为 SDXL 和 SD15 开源了从 1 到 8 步推理的 LoRA,以及专用的一步 SDXL 模型,旨在进一步推动生成 AI 社区的发展。

这篇关于字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1117528

相关文章

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

C#实现将Excel表格转换为图片(JPG/ PNG)

《C#实现将Excel表格转换为图片(JPG/PNG)》Excel表格可能会因为不同设备或字体缺失等问题,导致格式错乱或数据显示异常,转换为图片后,能确保数据的排版等保持一致,下面我们看看如何使用C... 目录通过C# 转换Excel工作表到图片通过C# 转换指定单元格区域到图片知识扩展C# 将 Excel

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

JS+HTML实现在线图片水印添加工具

《JS+HTML实现在线图片水印添加工具》在社交媒体和内容创作日益频繁的今天,如何保护原创内容、展示品牌身份成了一个不得不面对的问题,本文将实现一个完全基于HTML+CSS构建的现代化图片水印在线工具... 目录概述功能亮点使用方法技术解析延伸思考运行效果项目源码下载总结概述在社交媒体和内容创作日益频繁的

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

前端下载文件时如何后端返回的文件流一些常见方法

《前端下载文件时如何后端返回的文件流一些常见方法》:本文主要介绍前端下载文件时如何后端返回的文件流一些常见方法,包括使用Blob和URL.createObjectURL创建下载链接,以及处理带有C... 目录1. 使用 Blob 和 URL.createObjectURL 创建下载链接例子:使用 Blob

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

MySQL中动态生成SQL语句去掉所有字段的空格的操作方法

《MySQL中动态生成SQL语句去掉所有字段的空格的操作方法》在数据库管理过程中,我们常常会遇到需要对表中字段进行清洗和整理的情况,本文将详细介绍如何在MySQL中动态生成SQL语句来去掉所有字段的空... 目录在mysql中动态生成SQL语句去掉所有字段的空格准备工作原理分析动态生成SQL语句在MySQL