中山大学和联想研究院提出文本到服装生成模型GarmentAligner,解决服装生成中语义对齐、数量、位置和相互关系等问题。

本文主要是介绍中山大学和联想研究院提出文本到服装生成模型GarmentAligner,解决服装生成中语义对齐、数量、位置和相互关系等问题。,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

中山大学和联想研究院提出一个能够根据文字描述生成服装图像的智能工具GarmentAligner。它可以从已有服装图像中提取出各个组成部分,并记录下它们的位置和数量。接着根据你的描述进行匹配,找出最吻合的服装组件进行组合。而为了确保生成的图像能够准确反映描述,不仅仅是看上去好看,还可以在细节上做到精准对齐。通过这种方法,GarmentAligner可以在时尚设计的过程中给你提供更多灵感和帮助!

GarmentAligner能够生成高质量的服装图像,准确地描述提供说明中指定的组件的数量和空间对齐。

相关链接

http://arxiv.org/abs/2408.12352v1

论文阅读

GarmentAligner:通过检索增强多级校正实现文本到服装的生成

摘要

通用的文本转图像模型为艺术、设计和媒体领域带来了革命性的创新。然而,当应用于服装生成时,即使是最先进的文本转图像模型也存在细粒度语义错位,特别是在服装组件的数量、位置和相互关系方面。

为了解决这个问题,我们提出了 GarmentAligner,这是一个使用检索增强多级校正训练的文本转服装扩散模型。为了在组件级别实现语义对齐,我们引入了一个自动组件提取管道,以从相应的图像和标题中获取服装组件的空间和定量信息。随后,为了利用服装图像中的组件关系,我们通过基于组件级相似性排名的检索增强为每件服装构建检索子集,并进行对比学习以增强模型对正样本和负样本组件的感知。

为了进一步增强跨语义、空间和定量粒度的组件对齐,我们利用详细组件信息的多级校正损失。实验结果表明,与现有竞争对手相比,GarmentAligner 实现了更高的保真度和细粒度的语义对齐。

方法

最先进的文本到图像模型Midjourney在文本到服装任务中的失败。这种错位主要归因于组件的数量和空间位置,因此很难生成符合预期的细粒度细节的服装。

通过检索增强对比学习来解决不对齐的问题。通过吸收通过组件级相似性排序检索的正面和负面样本的见解,该模型增强了对组件关系的感知。

提出的 GarmentAligner 概述。在训练过程中,系统地构建检索样本,利用多级语义相似性排序进行对比学习,目的是实现全局感知对齐。同时,采用多个校正损失来细化视觉语义、空间位置和服装组件的数量,从而增强细节的粒度。

GarmentAligner 的主要目标是在整体感知和细粒度语义的多个语义层面上增强输入文本提示和生成的服装图像之间的对齐。为了实现这一目标,GarmentAligner 集成了预训练的潜在扩散模型作为主干,以利用其固有知识,并使用检索增强的多级校正对预训练的文本到图像主干进行微调,以使其适应文本到服装生成领域。此外,采用自动组件提取流程,通过先进的开放域检测和分割方法从服装图像中获得深入的组件级信息。

提出的检索增强对比学习的例证。基于组件级语义相似性排序,在包含n个样本的随机选择子集中执行每个样本的检索。随后,对检索结果进行全局评估过滤,获得正样本和负样本进行对比学习。

提出的多级校正的说明。生成的服装图像在组件级别进行分解,然后进行校正程序,包括对齐以确保文本图像一致性、空间交叉注意图和组件数量对齐。

实验

数据集

实验是在CM-Fashion数据集上进行的,该数据集由50万张服装图像组成,分辨率为512×512,每张图像都附有相应的说明文字。采用自动组件提取管道从图像中提取组件级别的服装分割和组件计数。随后用提取的信息来丰富标题。因此,我们设计了一个来自CM-Fashion数据集的增强服装数据集,具有优化的标题和组件级分割和数量。

效果

与基线的视觉比较。红框表示未正确生成的区域,绿框表示正确生成的区域,黄框表示未生成的区域。我们的方法在捕捉服装部件的纹理、定位和数量方面表现出卓越的性能,从而生成具有精确细粒度对齐的逼真时尚图像。

与基线的定量比较结果。与许多方法相比,我们的方法实现了最佳性能,在图像质量和文本与图像之间的一致性指标方面表现出色。

我们的方法和基线的组件级数量和空间精度与用户研究结果。我们的方法表现出出色的性能,在数量和空间维度上都明显优于其他方法,并获得了用户偏好。

消融实验中不同变化的视觉比较。[M]表示[V+S+C]的组合,其余的定义相同。

结论

本研究引入了 GarmentAligner,这是一种文本到服装的扩散模型,旨在纠正服装生成中固有的细粒度语义错位问题。通过将检索增强对比学习与多级校正相结合,GarmentAligner 有效地将生成的服装组件的视觉语义、空间定位和数量与提供的标题对齐。此外,我们设计了一个自动组件提取管道,从图像中提取有关服装组件的空间和定量信息,这些信息可应用于任何服装数据集,从而促进高质量服装生成的进步。我们的实验表明,与现有方法相比,GarmentAligner 可以生成具有改进的语义对齐的优质服装图像。

社会影响和局限性。 在生产高质量服装的同时,我们的方法仍然遇到某些限制。我们方法中使用的训练数据是通过提出的提取管道生成的,这严重依赖于语义分割和检测模型的准确性。不可避免地,可能会出现错误,特别是在处理大规模数据集时。此外,从预训练模型中继承的偏见可能会导致输出缺乏稳健性和用户友好性。未来需要采取措施,通过减少偏见和彻底审查来解决这些道德问题。

这篇关于中山大学和联想研究院提出文本到服装生成模型GarmentAligner,解决服装生成中语义对齐、数量、位置和相互关系等问题。的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1113053

相关文章

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

如何解决idea的Module:‘:app‘platform‘android-32‘not found.问题

《如何解决idea的Module:‘:app‘platform‘android-32‘notfound.问题》:本文主要介绍如何解决idea的Module:‘:app‘platform‘andr... 目录idea的Module:‘:app‘pwww.chinasem.cnlatform‘android-32

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

kali linux 无法登录root的问题及解决方法

《kalilinux无法登录root的问题及解决方法》:本文主要介绍kalilinux无法登录root的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,... 目录kali linux 无法登录root1、问题描述1.1、本地登录root1.2、ssh远程登录root2、

C#TextBox设置提示文本方式(SetHintText)

《C#TextBox设置提示文本方式(SetHintText)》:本文主要介绍C#TextBox设置提示文本方式(SetHintText),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录C#TextBox设置提示文本效果展示核心代码总结C#TextBox设置提示文本效果展示核心代

SpringBoot应用中出现的Full GC问题的场景与解决

《SpringBoot应用中出现的FullGC问题的场景与解决》这篇文章主要为大家详细介绍了SpringBoot应用中出现的FullGC问题的场景与解决方法,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录Full GC的原理与触发条件原理触发条件对Spring Boot应用的影响示例代码优化建议结论F

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

Java中Date、LocalDate、LocalDateTime、LocalTime、时间戳之间的相互转换代码

《Java中Date、LocalDate、LocalDateTime、LocalTime、时间戳之间的相互转换代码》:本文主要介绍Java中日期时间转换的多种方法,包括将Date转换为LocalD... 目录一、Date转LocalDateTime二、Date转LocalDate三、LocalDateTim

MySQL中动态生成SQL语句去掉所有字段的空格的操作方法

《MySQL中动态生成SQL语句去掉所有字段的空格的操作方法》在数据库管理过程中,我们常常会遇到需要对表中字段进行清洗和整理的情况,本文将详细介绍如何在MySQL中动态生成SQL语句来去掉所有字段的空... 目录在mysql中动态生成SQL语句去掉所有字段的空格准备工作原理分析动态生成SQL语句在MySQL

Pyserial设置缓冲区大小失败的问题解决

《Pyserial设置缓冲区大小失败的问题解决》本文主要介绍了Pyserial设置缓冲区大小失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录问题描述原因分析解决方案问题描述使用set_buffer_size()设置缓冲区大小后,buf