每日AIGC最新进展(10):符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型

本文主要是介绍每日AIGC最新进展(10):符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Diffusion Models专栏文章汇总:入门与实战

SYMPLEX: Controllable Symbolic Music Generation using Simplex Diffusion with Vocabulary Priors

http://arxiv.org/abs/2405.12666v1 

本文介绍了一种新的符号音乐生成方法,名为SYMPLEX,它基于单纯形扩散(Simplex Diffusion,SD)模型,通过操作概率分布而非信号空间来生成音乐。该方法利用词汇表先验(vocabulary priors)来控制音乐的生成过程,允许在不进行任务特定模型调整或应用外部控制的情况下,对时间和音高进行填充、选择乐器等。

SYMPLEX模型采用SSD-LM作为基础,SSD-LM是一种基于窗口的单纯形扩散模型,用于生成任意长度的自然语言序列。与SSD-LM处理序列不同,SYMPLEX操作的是一组包含9个属性的音符事件集合。模型通过训练神经网络从噪声概率中恢复数据样本,并在生成新样本时,从随机初始化的概率开始,逐步迭代细化。此外,通过将词汇表先验与当前概率相乘并重新归一化,可以在不依赖外部模型的情况下控制生成过程。

作者从MetaMIDI数据集中提取了4小节多乐器MIDI循环,并构建了一个包含约25万个循环的数据集。他们使用了一种无序集合表示法来表示MIDI循环,每个音符事件包含9个属性。实验中,SYMPLEX在多个任务上进行了演示,包括无条件生成、有条件生成以及多种编辑任务。作者还讨论了未来工作,包括如何避免根据不同生成场景调整参数设置,以简化工作流程。

ReasonPix2Pix: Instruction Reasoning Dataset for Advanced Image Editing

http://arxiv.org/abs/2405.11190v1

本文介绍了一个名为ReasonPix2Pix的新型图像编辑数据集,旨在提升生成模型在遵循人类指令进行图像编辑时的推理能力。现有的图像编辑模型通常只能理解明确具体的指令,但在处理隐含或定义不明确的指令时表现出推理能力的不足。为了解决这一问题,研究者们创建了ReasonPix2Pix,这是一个包含推理指令、更真实图像和输入与编辑图像之间更大变化的数据集

ReasonPix2Pix数据集通过三个部分来增强模型的推理能力:第一部分利用InstructPix2Pix数据集中的图像对,生成推理指令;第二部分和第三部分则通过生成新的编辑图像和指令来提升模型对现实图像的编辑能力。研究者们还结合了多模态大型语言模型(MLLM)和扩散模型来构建一个简单的框架,该框架能够理解指令的明确或隐含意图,并生成符合指令的输出图像。

在实验部分,研究者们使用了GPT-3.5-turbo生成数据集,并采用了Stable Diffusion v1.5和LLaVA-7Bv1.5进行微调。他们将图像大小调整为256×256,并在训练期间使用了基础学习率。通过定性和定量的实验结果,证明了ReasonPix2Pix在不需要推理和需要推理的指令编辑任务中均展现出优越的性能。用户研究也表明,当指令变得更加隐含时,ReasonPix2Pix与先前方法相比具有更大的优势。最后,研究者们讨论了数据集的局限性,并指出了数据集规模因API成本而受限,但提供了清晰的数据生成流程,以便研究人员可以扩展数据集规模。

Evolving Storytelling: Benchmarks and Methods for New Character Customization with Diffusion Models

http://arxiv.org/abs/2405.11852v1

本文探讨了如何将新角色有效地融入现有叙事中,并保持角色一致性的问题,特别是在数据有限的情况下。作者指出,现有的故事可视化生成模型在整合新角色时存在两大限制缺乏合适的基准测试和新旧角色区分的挑战。为了解决这些问题,作者提出了"NewEpisode"基准测试,包含经过改进的数据集,用于评估生成模型在仅使用单一示例故事生成新故事的能力

作者引入了"EpicEvo"方法,这是一种定制的扩散模型,用于视觉故事生成。"EpicEvo"通过一个新颖的对抗性角色对齐模块扩散过程中逐步对齐生成图像与新角色的示例图像,同时应用知识蒸馏来防止忘记角色和背景细节。这种方法使得模型能够学习如何生成包含现有角色和/或新角色的故事,并且通过对抗性角色对齐模块鼓励模型独特地生成角色,并通过从预训练模型中提取知识来保持模型先验。

为了验证"EpicEvo"的有效性,作者在"NewEpisode"基准测试上进行了定量和定性的研究。实验结果表明,"EpicEvo"在基准测试上的定量表现超过了现有的基线,并且通过质量研究确认了其在扩散模型中定制视觉故事生成的优越性。总结来说,"EpicEvo"提供了一种有效的方法,仅使用一个示例故事就能融入新角色,为诸如连载卡通等应用开辟了新的可能性。

TriLoRA: Integrating SVD for Advanced Style Personalization in Text-to-Image Generation

http://arxiv.org/abs/2405.11236v1

本文提出了一种名为TriLoRA的新方法,旨在改进文本到图像生成模型的微调过程,以实现更高级的风格个性化。现有的深度学习模型,如Stable Diffusion,在视觉艺术创作中应用广泛,但面临过拟合、生成结果不稳定和难以精确捕捉创造者所需特征等挑战。TriLoRA通过将奇异值分解(SVD)整合到低秩适应(LoRA)参数更新策略中,有效降低了过拟合风险,增强了模型输出的稳定性,并更准确地捕捉到创造者所需的微妙特征调整

TriLoRA是在LoRA框架内引入SVD的概念,通过训练两个适配器:一个标准低秩适配器(LoRA)和一个更小的适配器,这两个适配器相对于原始预训练权重并行训练。该方法的创新之处在于使用紧凑奇异值分解(Compact SVD)来确定创造者关注的特定特征数,从而提供更精确的选择空间。在TriLoRA框架中,通过将Compact SVD整合到LoRA中,优化了权重矩阵的更新,使得模型在保持较低参数数量的同时,提高了对新任务的适应性

为了评估TriLoRA和LoRA在特定风格或主题中的适应性,作者构建了两个数据集:一个包含多种幻想生物的Pokemon数据集,另一个是专注于特定风格服装的GAC数据集。实验采用了标准化Fréchet Inception距离(Normalized FID)和CLIP分数作为主要的定量评估指标,并辅以用户研究以提供定性见解。实验结果表明,TriLoRA在多个数据集上的表现优于LoRA,具有更好的模型泛化能力和创造性表达,同时保持了效率和资源限制下的优异性能。用户研究结果也支持了TriLoRA在文本视觉一致性和视觉吸引力方面的优势。

这篇关于每日AIGC最新进展(10):符号音乐生成SYMPLEX、新型图像编辑数据集ReasonPix2Pix、角色一致性插画生成、高级的风格个性化扩散模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1001877

相关文章

mysql中的group by高级用法

《mysql中的groupby高级用法》MySQL中的GROUPBY是数据聚合分析的核心功能,主要用于将结果集按指定列分组,并结合聚合函数进行统计计算,下面给大家介绍mysql中的groupby用法... 目录一、基本语法与核心功能二、基础用法示例1. 单列分组统计2. 多列组合分组3. 与WHERE结合使

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

MySQL高级查询之JOIN、子查询、窗口函数实际案例

《MySQL高级查询之JOIN、子查询、窗口函数实际案例》:本文主要介绍MySQL高级查询之JOIN、子查询、窗口函数实际案例的相关资料,JOIN用于多表关联查询,子查询用于数据筛选和过滤,窗口函... 目录前言1. JOIN(连接查询)1.1 内连接(INNER JOIN)1.2 左连接(LEFT JOI

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入