字节发布AnimateDiff-Lightning文生视频模型——可在线免费试玩

本文主要是介绍字节发布AnimateDiff-Lightning文生视频模型——可在线免费试玩,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

动图封面

Sora文生视频大模型

随着Sora文生视频大模型的爆火,文生视频大模型必定是各大人工智能公司竞争的主要领域。虽然 Sora模型的视频效果绝对是领先地位,但是Sora模型目前还没有开放使用,我们并无法直接使用。前期我们也介绍过字节发布的MagicVideo2文生视频模型,但是MagicVideo2并没有提供开源或者试用地址。

动图封面

MagicVideo2文生视频大模型

本期我们介绍一下字节发布的另外一个文生视频模型AnimateDiff-Lightning,其AnimateDiff-Lightning模型已经上线到hugging face,任何人都可以直接在线试玩。

动图封面

AnimateDiff文生视频模型

AnimateDiff-Lightning模型

AnimateDiff-Lightning模型是一个轻量级的文生视频大模型,其速度比原始AnimateDiff模型要快10倍以上。此模型基于AnimateDiff SD1.5 v2进行蒸馏,并提供step1,step2,step4,step8四种类型的模型,并提供了开源的预训练模型供大家直接使用,主要分为写实模型与卡通模型。

realistic写实模型主要有5个,可以根据自己的喜好,挑选任意一个模型使用即可。

  1. epiCRealism
  2. Realistic Vision
  3. DreamShaper
  4. AbsoluteReality
  5. MajicMix Realistic

Anime & Cartoon卡通模型包含如下6个模型

  1. ToonYou
  2. IMP
  3. Mistoon Anime
  4. DynaVision
  5. RCNZ Cartoon 3d
  6. MajicMix Reverie

AnimateDiff-Lightning模型在线试玩

每个模型都可以直接在hugging face上面下载使用,当然AnimateDiff-Lightning模型也在hugging face上面提供了试玩地址,直接打开官方链接,输入自己需要生成的视频prompt,这里注意的是其prompt是英文格式。选择base model以及视频呈现方式与模型step,点击run等待一会便可以得到自己的视频了。

动图封面

AnimateDiff-Lightning不同视频呈现方式

AnimateDiff-Lightning模型也定义了视频的呈现方式,包含缩放,偏移,旋转等。让生成的视频更具镜头感。

ComfyUI使用AnimateDiff-Lightning模型

AnimateDiff-Lightning模型也可以直接在comfy UI中使用,请按照如下步骤:

下载animatediff_lightning_workflow.json文件,并导入到comfyui
安装nodes
下载AnimateDiff-Lightning模型的预训练模型,并放置在models/checkpoints文件夹
下载AnimateDiff-Lightning模型animatediff_lightning_Nstep_comfyui.safetensors并放置到/custom_nodes/ComfyUI-AnimateDiff-Evolved/models/文件夹下

ComfyUI使用AnimateDiff-Lightning模型

AnimateDiff-Lightning模型除了可以使用文生视频外,还可以直接使用视频到视频生成模型,此模式支持输入一段视频,然后模型根据模型的输入内容,使用control net实现检测人物动作,并根据选择的模型生成对应的视频。

代码使用AnimateDiff-Lightning模型

hugging face上线的在线试玩模型,并没有支持太多的模型,目前只支持epiCRealism与ToonYou模型,其他的模型并没有开放使用,若要完全使用AnimateDiff-Lightning,也可以使用代码来实现文生视频的生成,其代码实现如下:

import torch
from diffusers import AnimateDiffPipeline, MotionAdapter, EulerDiscreteScheduler
from diffusers.utils import export_to_gif
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
device = "cuda"
dtype = torch.float16
step = 4  # 可供选择: [1,2,4,8]
repo = "ByteDance/AnimateDiff-Lightning"
ckpt = f"animatediff_lightning_{step}step_diffusers.safetensors"
base = "emilianJR/epiCRealism"  # 选择自己的模型.
adapter = MotionAdapter().to(device, dtype)
adapter.load_state_dict(load_file(hf_hub_download(repo ,ckpt), device=device))
pipe = AnimateDiffPipeline.from_pretrained(base, motion_adapter=adapter, torch_dtype=dtype).to(device)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing", beta_schedule="linear")
output = pipe(prompt="A girl smiling", guidance_scale=1.0, num_inference_steps=step)
export_to_gif(output.frames[0], "animation.gif")

AnimateDiff-Lightning模型已经支持hugging face代码,base模型可以选择任意一个介绍的模型,运行以上代码就可以直接生成对应的视频了。

动图封面

https://github.com/guoyww/AnimateDiff/tree/main?tab=readme-ov-file
https://huggingface.co/ByteDance/AnimateDiff-Lightning
更多transformer,VIT,swin tranformer
参考头条号:人工智能研究所
v号:启示AI科技
微信中复制如下链接,打开,免费使用chatgpthttps://wx2.expostar.cn/qz/pages/manor/index?id=1137&share_from_id=79482&sid=24

动画详解transformer  在线教程

 

这篇关于字节发布AnimateDiff-Lightning文生视频模型——可在线免费试玩的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/892449

相关文章

Nginx实现前端灰度发布

《Nginx实现前端灰度发布》灰度发布是一种重要的策略,它允许我们在不影响所有用户的情况下,逐步推出新功能或更新,通过灰度发布,我们可以测试新版本的稳定性和性能,下面就来介绍一下前端灰度发布的使用,感... 目录前言一、基于权重的流量分配二、基于 Cookie 的分流三、基于请求头的分流四、基于请求参数的分

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

定价129元!支持双频 Wi-Fi 5的华为AX1路由器发布

《定价129元!支持双频Wi-Fi5的华为AX1路由器发布》华为上周推出了其最新的入门级Wi-Fi5路由器——华为路由AX1,建议零售价129元,这款路由器配置如何?详细请看下文介... 华为 Wi-Fi 5 路由 AX1 已正式开售,新品支持双频 1200 兆、配有四个千兆网口、提供可视化智能诊断功能,建

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

Java如何获取视频文件的视频时长

《Java如何获取视频文件的视频时长》文章介绍了如何使用Java获取视频文件的视频时长,包括导入maven依赖和代码案例,同时,也讨论了在运行过程中遇到的SLF4J加载问题,并给出了解决方案... 目录Java获取视频文件的视频时长1、导入maven依赖2、代码案例3、SLF4J: Failed to lo

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus

Python实现多路视频多窗口播放功能

《Python实现多路视频多窗口播放功能》这篇文章主要为大家详细介绍了Python实现多路视频多窗口播放功能的相关知识,文中的示例代码讲解详细,有需要的小伙伴可以跟随小编一起学习一下... 目录一、python实现多路视频播放功能二、代码实现三、打包代码实现总结一、python实现多路视频播放功能服务端开