字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接

本文主要是介绍字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

2024 年 8 月 26 日,字节开源了 FLUX Dev 的 Haper SD Lora。 只需要 8 步或者 16 步就可以用 FLUX 生成图片,大幅减少 FLUX 的生成时间。

建议 LoRA 比例约为 0.125,该比例可适应训练和指导,比例可保持在 3.5。较低步骤的 LoRA 即将推出。

大家可以点击下面文章链接, 文章包含模型下载链接,试用地址,项目介绍等,也欢迎大家关注公众号AIGC Studio。

字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片!

为了让更多的人体验到Hyper SD Lora的神奇效果,字节跳动在Huggingface上设立了演示空间。在这里可以直观地感受到FLUX8步Lora的绘图效果,亲眼见证AI绘图技术的飞跃。

相关链接

论文地址:https://arxiv.org/pdf/2404.13686 项目地址:https://hyper-sd.github.io/

模型链接:https://huggingface.co/ByteDance/Hyper-SD

试用地址:https://huggingface.co/spaces/ByteDance/Hyper-FLUX-8Steps-LoRA

论文阅读

Hyper-SD:用于高效图像合成的轨迹分段一致性模型

摘要

最近,出现了一系列考虑扩散的蒸馏算法,以减轻与扩散模型 (DM) 的多步推理过程相关的计算开销。当前的蒸馏技术通常分为两个不同的方面:i)ODE 轨迹保存;ii)ODE 轨迹重构。然而,这些方法存在严重的性能下降或领域转移。

为了解决这些限制,我们提出了Hyper-SD,这是一个新颖的框架,它协同融合了 ODE 轨迹保存和重构的优点,同时在步骤压缩期间保持近乎无损的性能。首先,我们引入轨迹分段一致性蒸馏,以在预定义的时间步长段内逐步执行一致性蒸馏,这有助于从高阶角度保留原始 ODE 轨迹。其次,我们结合人工反馈学习来提高模型在低步长范围内的性能,并减轻蒸馏过程造成的性能损失。第三,我们集成了分数蒸馏,以进一步提高模型的低步生成能力,并首次尝试利用统一的 LoRA 支持所有步骤的推理过程。

大量实验和用户研究表明,对于 SDXL 和 SD1.5,Hyper-SD 在 1 到 8 个推理步骤中都实现了 SOTA 性能。例如,在 1 步推理中,Hyper-SDXL 在 CLIP 分数上超过 SDXL-Lightning +0.68 ,在 Aes 分数上 超过 +0.51 。

方法

Hyper-SD 采用两阶段渐进式一致性蒸馏。第一阶段在两个不同的时间段 [0, T/2] 和 [T/2 , T] 进行一致性蒸馏,以获得两段一致性 ODE。然后,在后续阶段采用此 ODE 轨迹来训练全局一致性模型。

实验

Hyper-SD 与其他方法之间的视觉比较。从第一列到第四列,这些图像的提示分别是

  1. 一只穿着白色 T 恤的狗,上面写着 "hyper" 一词…

  2. 抽象美、接近完美、纯粹的形式、黄金比例、简约、未完成…

  3. 一颗水晶心躺在宁静的禅宗花园的苔藓上……

  4. 科学家雄鹿的拟人化艺术,维多利亚风格的服装,由 krenz cushart 创作...。

Hyper-SD 与 SDXL 架构上其他基于 LoRA 的加速方法之间的定性比较。

Hyper-SD 与其他基于 LoRA 的加速方法在 SD15 架构上的定性比较。

Hyper-SD 与现有的专注于加速的方法相比表现出了显著的优势,并在 SD1.5 和 SDXL 架构上获得了更多的用户偏好。

具有不同步骤的 Hyper-SD LoRA 可应用于不同的基础模型,并持续生成高质量图像

Hyper-SD 的统一 LoRA 与 ControlNet 兼容。示例以涂鸦或精明图像为条件。

结论

我们提出了 Hyper-SD,这是一个统一的框架,可最大限度地提高扩散模型的几步生成能力,在 SDXL 和 SD15 的基础上实现了新的 SOTA 性能。通过采用轨迹分段一致性蒸馏,我们增强了蒸馏过程中的轨迹保存能力,接近原始模型的生成能力。然后,人工反馈学习和变分分数蒸馏激发了少步推理的潜力,从而为生成模型提供了更优化和更高效的轨迹。我们为 SDXL 和 SD15 开源了从 1 到 8 步推理的 LoRA,以及专用的一步 SDXL 模型,旨在进一步推动生成 AI 社区的发展。

这篇关于字节开源 FLUX Dev 的 Haper SD Lora,只需要 8 步或者 16 步就可以用 FLUX 生成图片! 文章附模型下载链接的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1117528

相关文章

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

Python下载Pandas包的步骤

《Python下载Pandas包的步骤》:本文主要介绍Python下载Pandas包的步骤,在python中安装pandas库,我采取的方法是用PIP的方法在Python目标位置进行安装,本文给大... 目录安装步骤1、首先找到我们安装python的目录2、使用命令行到Python安装目录下3、我们回到Py

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现

使用国内镜像源优化pip install下载的方法步骤

《使用国内镜像源优化pipinstall下载的方法步骤》在Python开发中,pip是一个不可或缺的工具,用于安装和管理Python包,然而,由于默认的PyPI服务器位于国外,国内用户在安装依赖时可... 目录引言1. 为什么需要国内镜像源?2. 常用的国内镜像源3. 临时使用国内镜像源4. 永久配置国内镜

C/C++随机数生成的五种方法

《C/C++随机数生成的五种方法》C++作为一种古老的编程语言,其随机数生成的方法已经经历了多次的变革,早期的C++版本使用的是rand()函数和RAND_MAX常量,这种方法虽然简单,但并不总是提供... 目录C/C++ 随机数生成方法1. 使用 rand() 和 srand()2. 使用 <random