电商模特危机!谷歌最新模型Tryon Diffusion一键试衣,线上购物被革命

本文主要是介绍电商模特危机!谷歌最新模型Tryon Diffusion一键试衣,线上购物被革命,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

前言        

摘要

方法

结果展示

多人试穿同一件衣服

同一个人试穿不同的衣服

交互式试穿演示

与最先进方法的比较

总结分析

前言        

        谷歌的新AI模型TryOnDiffusion,直接解决了AI换装的两大难题——既保留衣服细节,又能随意换姿势。以后再剁手,恐怕要更容易了!你只要给它一张自己的全身照,和服装模特的照片,就能知道自己穿上这件衣服之后是什么样子了。一键换装,被谷歌给实现了!

        TryOnDiffusion ,由Google Research 与华盛顿大学联合研发 。可以通过将两张图片融合起来,让模特无须重新拍摄就可以展示出不同服装的上身效果。传统的合成方法通常只能接受造型区别不大的两张图片,否则合成出来的新图片会出现服装变形严重的情况。而 TryOnDiffusion 基于并行 UNet 的扩散式架构打造,能够在保留更多细节的情况下让服装和真人模特相结合,呈现出自然的服装效果。

        下面是TryOnDiffusion的一些资料和链接地址,有需要的小伙伴自取哈, OK,接下来一起来探究一下TryOn Diffusion的奥秘吧~       

论文名称:《Tyron Diffusion: A Tale of Two UNets》

Luyang Zhu(1,2), Dawei Yang(2), Tyler Zhu(2), Fitsum Reda(2), William Chan(2), Chitwan Saharia(2), Mohammad Norouzi(2), Ira Kemelmacher-Shlizerman(1,2)

(1)University of Washington (2)Google Research

IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2023

项目链接:https://tryondiffusion.github.io/?ref=louisbouchard.ai

论文链接:https://arxiv.org/abs/2306.08276

摘要

        给定两张描绘一个人和另一个人穿的衣服的图像,Tyron Diffusion的目标是生成一个可视化的图像,显示衣服在输入人身上的样子。一个关键的挑战是合成一个逼真的细节保留服装的可视化,同时扭曲服装以适应主体的重要身体姿势和形状变化。以前的方法要么注重服装细节的保存,而没有有效的姿势和形状的变化,要么允许以所需的形状和姿势试穿,但缺乏服装细节。在本文中,我们提出了一种基于扩散的架构,该架构统一了两个unet(称为Parallel-UNet),这使我们能够在单个网络中保留服装细节并对服装进行扭曲,以实现重要的姿势和身体变化。Parallel-UNet背后的关键思想包括:1)服装是通过交叉注意机制隐性扭曲的;2)服装扭曲和人的融合是一个统一过程的一部分,而不是两个独立任务的序列。实验结果表明,TryOnDiffusion在定性和定量上都达到了最先进的性能。

方法

        整体流水线:在预处理步骤中,将目标人物从人物图像中分割出来,形成“服装不可知RGB”图像,将目标服装从服装图像中分割出来,同时计算人物和服装图像的姿态。这些输入被带入128×128 Parallel-UNet(关键贡献),以创建128x128的试穿图像,该图像与试穿条件输入一起进一步作为输入发送到256×256 Parallel-UNet。256×256 Parallel-UNet的输出被发送到标准超分辨率扩散以创建1024×1024图像。 

        128×128 Parallel-UNet的架构。person-UNet(上图)以与服装无关的RGB和噪声图像作为输入。由于两个输入都是像素对齐的,TryOnDiffusion在UNet处理开始时直接沿着通道维度将它们连接起来。服装unet(下)以分割后的服装图像作为输入。通过交叉关注将服装特征融合到目标图像中。为了保存模型参数,在32×32上采样块之后提前停止了服装unet,在那里完成了最终的person-UNet交叉关注模块。首先将人的姿态和服装的姿态分别输入到线性层中计算姿态嵌入。然后通过注意机制将姿态嵌入融合到person-UNet中。此外,它们被用来调制两个unet在所有尺度上使用FiLM的功能。

结果展示

多人试穿同一件衣服

 

同一个人试穿不同的衣服

交互式试穿演示

与最先进方法的比较

挑战性案例的定性比较(极端的身体姿势和形状差异)

 简单案例的定性比较(最小的服装经度和简单的纹理图案)

总结分析

        TryonDiffusion有几个限制。首先在预处理过程中分割图和姿态估计错误的情况下显示服装泄漏伪影。幸运的是,这些在最近几年变得相当准确,这种情况并不经常发生。其次,通过与服装无关的RGB来表现身份并不理想,因为有时它可能只保留部分身份,例如,纹身在这种表现中是不可见的,或者特定的肌肉结构。第三,训练和测试数据集大多具有干净统一的背景,因此不知道该方法在更复杂背景下的表现如何。第四,TryonDiffusion不保证合身,目前只关注试穿的可视化效果。最后,这项工作主要是上半身的服装,还没有进行全身试穿的实验。

这篇关于电商模特危机!谷歌最新模型Tryon Diffusion一键试衣,线上购物被革命的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/637604

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES

最新Spring Security实战教程之Spring Security安全框架指南

《最新SpringSecurity实战教程之SpringSecurity安全框架指南》SpringSecurity是Spring生态系统中的核心组件,提供认证、授权和防护机制,以保护应用免受各种安... 目录前言什么是Spring Security?同类框架对比Spring Security典型应用场景传统

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

OpenManus本地部署实战亲测有效完全免费(最新推荐)

《OpenManus本地部署实战亲测有效完全免费(最新推荐)》文章介绍了如何在本地部署OpenManus大语言模型,包括环境搭建、LLM编程接口配置和测试步骤,本文给大家讲解的非常详细,感兴趣的朋友一... 目录1.概况2.环境搭建2.1安装miniconda或者anaconda2.2 LLM编程接口配置2

Mysql中InnoDB与MyISAM索引差异详解(最新整理)

《Mysql中InnoDB与MyISAM索引差异详解(最新整理)》InnoDB和MyISAM在索引实现和特性上有差异,包括聚集索引、非聚集索引、事务支持、并发控制、覆盖索引、主键约束、外键支持和物理存... 目录1. 索引类型与数据存储方式InnoDBMyISAM2. 事务与并发控制InnoDBMyISAM

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

StarRocks索引详解(最新整理)

《StarRocks索引详解(最新整理)》StarRocks支持多种索引类型,包括主键索引、前缀索引、Bitmap索引和Bloomfilter索引,这些索引类型适用于不同场景,如唯一性约束、减少索引空... 目录1. 主键索引(Primary Key Index)2. 前缀索引(Prefix Index /

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo