基于EasyAnimate模型的视频生成最佳实践

2024-06-19 16:04
文章标签 视频 最佳 实践 模型 生成 easyanimate

本文主要是介绍基于EasyAnimate模型的视频生成最佳实践，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

EasyAnimate是阿里云PAI平台自主研发的DiT的视频生成框架，它提供了完整的高清长视频生成解决方案，包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。本文为您介绍如何在PAI平台集成EasyAnimate并一键完成模型推理、微调及部署的实践流程。

背景信息

本文为您介绍以下两种视频生成的方式：

  • 方式一：使用DSW

DSW是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，其中，Gallery提供了丰富的案例和解决方案，帮助您快速熟悉研发流程。您可以打开DSW Gallery中的案例教程，实现一键式运行Notebook，完成基于EasyAnimate的视频生成模型的推理和训练任务，也可以进行模型推理和微调等二次开发操作。

  • 方式二：使用快速开始

快速开始集成了众多AI开源社区中优质的预训练模型，并且基于开源模型支持零代码实现从训练到部署再到推理的全部过程，您可以通过快速开始一键部署EasyAnimate模型并生成视频，享受更快、更高效、更便捷的AI应用体验。

费用说明

  • 如果您的账号为DSW或EAS的新用户，可以免费试用相应产品。关于免费试用的额度、领取方式及注意事项等详细信息，请参见新用户免费试用。

说明：在本教程中，仅支持使用DSW免费资源类型ecs.gn7i-c8g1.2xlarge。

  • 如果您的账号非新用户，使用DSW和EAS会产生相应费用。更多计费详情，请参见交互式建模（DSW）计费说明、模型在线服务（EAS）计费说明、快速开始（QuickStart）计费说明。

前提条件

  • 创建PAI工作空间。具体操作，请参见开通PAI并创建默认工作空间。
  • （可选）开通OSS或NAS。具体操作，请参见开始使用OSS、NAS入门概述。

方式一：使用DSW

步骤一：创建DSW实例

  1. 进入DSW页面。
    1. 登录PAI控制台。
    2. 在概览页面选择目标地域。
    3. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击目标工作空间名称，进入对应工作空间内。
    4. 在工作空间页面的左侧导航栏选择模型开发与训练>交互式建模（DSW），进入DSW页面。
  2. 单击创建实例。
  3. 在配置实例向导页面，配置以下关键参数，其他参数保持默认即可。
参数说明
实例名称本教程使用的示例值为：AIGC_test_01
资源规格选择GPU规格下的ecs.gn7i-c8g1.2xlarge，或其他A10、GU100规格。
镜像选择官方镜像的easyanimate:1.1.4-pytorch2.2.0-gpu-py310-cu118-ubuntu22.04。
挂载配置（可选）单击添加，单击创建数据集，创建OSS或NAS数据集。
  1. 单击确定。

步骤二：安装EasyAnimate模型

  1. 打开DSW实例。
    1. 登录PAI控制台。
    2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击目标工作空间，进入对应工作空间。
    3. 在页面左上方，选择使用服务的地域。
    4. 在左侧导航栏，选择模型开发与训练>交互式建模（DSW）。
    5. 单击目标DSW实例操作列下的打开，进入DSW实例的开发环境。
  2. 在Notebook页签的Launcher页面，单击快速开始区域Tool下的DSW Gallery，打开DSW Gallery页面。
  3. 在DSW Gallery页面中，搜索EasyPhoto: 基于EasyAnimate的AI视频生成示例，单击在DSW中打开，即可自动将本教程所需的资源和教程文件下载至DSW实例中，并在下载完成后自动打开教程文件。

image.png

  1. 下载EasyAnimate相关代码和模型并进行安装。

在教程文件easyanimate.ipynb中，单击image.png运行环境安装节点命令，包括定义函数、下载代码和下载模型。当成功运行一个步骤命令后，再顺次运行下个步骤的命令。

步骤三：推理模型

方式一：使用代码进行推理

单击image.png运行模型推理>使用代码进行推理节点的命令进行模型推理。您可在**/mnt/workspace/demos/easyanimate/EasyAnimate/samples/easyanimate-videos**目录中查看生成结果。
您可以修改不同的参数来达到不同的效果，参数说明：

参数名说明类型
prompt用户输入的正向提示词。string
negative_prompt用户输入的负向提示词。string
num_inference_steps用户输入的步数。int
guidance_scale引导系数。int
sampler_name采样器类型。在生成风景类animation时，采样器 (sampler_name) 推荐使用DPM++和Euler A。在生成人像类animation时，采样器推荐使用Euler A和Euler。string
width生成视频宽度。int
height生成视频高度。int
video_length生成视频帧数。int
fps保存的视频帧率。int
save_dir保存视频文件夹 （相对路径）。string
seed随机种子。int
lora_weightLoRA模型参数的权重。float
lora_path额外的LoRA模型路径。用于生成人物视频可以修改为预置的模型路径：models/Personalized_Model/easyanimate_portrait_lora.safetensorsstring
transformer_pathtransformer模型路径。用于生成人物视频可以修改为预置的模型路径：models/Personalized_Model/easyanimate_portrait.safetensorsstring
motion_module_pathmotion_module模型路径。string
方式二：使用WebUI进行推理
  1. 单击image.png运行模型推理>UI启动节点的命令，进行模型推理。
  2. 单击生成的链接，进入WebUI界面。

image.png

  1. 在WebUI界面选择预训练的模型路径、微调后的基模型和LoRA模型，设置LoRA权重，其它参数按需配置即可。

image.png

  1. 单击Generate（生成），等待一段时间后，即可在右侧查看或下载生成的视频。

image.png

步骤四：微调LoRA

EasyAnimate提供了丰富的模型训练方式，包括DiT模型的训练（LoRA微调和基模型的全量微调）和VAE的训练。关于Gallery中内置的LoRA微调部分，更多信息，请参见EasyAnimate。

准备数据

单击image.png执行模型训练>数据准备节点的命令，即可下载示例数据，用于模型训练。您也可以按照如下格式要求自行准备数据文件。
文件数据格式如下。

project/
├── datasets/
│   ├── internal_datasets/
│       ├── videos/
│       │   ├── 00000001.mp4
│       │   ├── 00000002.mp4
│       │   └── .....
│       └── json_of_internal_datasets.json

其中，JSON文件数据格式和参数说明如下。

[{"file_path": "videos/00000001.mp4","text": "A group of young men in suits and sunglasses are walking down a city street.","type": "video"},{"file_path": "videos/00000002.mp4","text": "A notepad with a drawing of a woman on it.","type": "video"}.....
]
参数说明
file_path视频/图片数据的存放位置（相对路径）。
text数据的文本描述。
type视频为video，图片为image。
训练模型
  1. 将对应的训练脚本中的DATASET_NAME及DATASET_META_NAME设置为训练数据所在目录及训练文件地址。
export DATASET_NAME=“” # 训练数据所在目录
export DATASET_META_NAME=“datasets/Minimalism/metadata_add_width_height.json” # 训练文件地址
  1. 单击image.png执行启动训练>LoRA训练节点的命令。
  2. 训练完成后，将生成的模型移动至models/Personalized_model文件夹，即可在UI界面中选择，或单击image.png执行LoRA模型推理节点的命令，指定lora_path进行视频生成。

方式二：使用快速开始

步骤一：部署模型

  1. 进入快速开始页面。
    1. 登录PAI控制台。
    2. 在左侧导航栏单击工作空间列表，在工作空间列表页面单击目标工作空间名称，进入对应工作空间内。
    3. 在左侧导航栏单击快速开始，进入快速开始页面。
  2. 在快速开始页面，搜索EasyAnimate 高清长视频生成，然后单击部署，配置相关参数。

EasyAnimate目前仅支持使用bf16进行推理，请选择A10及其以上的显卡。
image.png

  1. 单击部署，在弹出的计费提醒对话框中，单击确定，页面将自动跳转到服务详情页面。

当状态变为运行中时，即表示模型部署成功。

步骤二：使用模型

模型部署完成后，您可以使用WebUI及API两种方式调用服务来生成视频。

WebUI方式
  1. 在服务详情页面，单击查看WEB应用。

image.png

  1. 在WebUI界面选择预训练的模型路径，其它参数按需配置即可。

image.png

  1. 单击Generate（生成），等待一段时间后，即可在右侧查看或下载生成的视频。

image.png

API方式
  1. 在服务详情页面的资源详情区域，单击查看调用信息，获取调用服务所需的信息。

image.png

  1. 通过接口更新Transformer模型，可在DSW实例或本地Python环境中执行。

如果已经在WebUI中选择模型，则无需发送请求重复调用。如遇请求超时，请在EAS日志中确认模型已加载完毕。加载完成，日志中将提示Update diffusion transformer done。
Python请求示例如下。

import json
import requestsdef post_diffusion_transformer(diffusion_transformer_path, url='http://127.0.0.1:7860', token=None):datas = json.dumps({"diffusion_transformer_path": diffusion_transformer_path})head = {'Authorization': token}r = requests.post(f'{url}/easyanimate/update_diffusion_transformer', data=datas, headers=head, timeout=15000)data = r.content.decode('utf-8')return datadef post_update_edition(edition, url='http://0.0.0.0:7860',token=None):head = {'Authorization': token}datas = json.dumps({"edition": edition})r = requests.post(f'{url}/easyanimate/update_edition', data=datas, headers=head)data = r.content.decode('utf-8')return dataif __name__ == '__main__':url = '<eas-service-url>'token = '<eas-service-token>'# -------------------------- ##  Step 1: update edition# -------------------------- #edition = "v2"outputs = post_update_edition(edition,url = url,token=token)print('Output update edition: ', outputs)# -------------------------- ##  Step 2: update edition# -------------------------- ## 默认路径不可修改diffusion_transformer_path = "/mnt/models/Diffusion_Transformer/EasyAnimateV2-XL-2-512x512"outputs = post_diffusion_transformer(diffusion_transformer_path, url = url, token=token)print('Output update edition: ', outputs)

其中：

  • ：替换为步骤1中查询到的服务访问地址。
  • ：替换为步骤1中查询到的服务Token。
  1. 调用服务，生成视频或图片。
  • 服务输入参数说明
参数名说明类型默认值
prompt_textbox用户输入的正向提示词。string必填。无默认值
negative_prompt_textbox用户输入的负向提示词。string“The video is not of a high quality, it has a low resolution, and the audio quality is not clear. Strange motion trajectory, a poor composition and deformed video, low resolution, duplicate and ugly, strange body structure, long and strange neck, bad teeth, bad eyes, bad limbs, bad hands, rotating camera, blurry camera, shaking camera. Deformation, low-resolution, blurry, ugly, distortion.”
sample_step_slider用户输入的步数。int30
cfg_scale_slider引导系数。int6
sampler_dropdown采样器类型。stringEluer
在 [Eluer, EluerA, DPM++, PNDM, DDIM] 中选择
width_slider生成视频宽度。int672
height_slider生成视频高度。int384
length_slider生成视频帧数。int144
is_image是否是图片。boolFALSE
lora_alpha_sliderLoRA模型参数的权重。float0.55
seed_textbox随机种子。int43
lora_model_path额外的LoRA 模型路径。stringnone
若有，则会在请求时带上lora。在当次请求后移除。
base_model_path需要更新的transformer模型路径。stringnone
motion_module_path需要更新的motion_module模型路径。stringnone
  • Python请求示例

服务返回base64_encoding，为base64结果。
您可以在**/mnt/workspace/demos/easyanimate/**目录中查看生成结果。

import base64
import json
import sys
import time
from datetime import datetime
from io import BytesIOimport cv2
import requests
import base64def post_infer(is_image, length_slider, url='http://127.0.0.1:7860',token=None):head = {'Authorization': token}datas = json.dumps({"base_model_path": "none","motion_module_path": "none","lora_model_path": "none", "lora_alpha_slider": 0.55, "prompt_textbox": "This video shows Mount saint helens, washington - the stunning scenery of a rocky mountains during golden hours - wide shot. A soaring drone footage captures the majestic beauty of a coastal cliff, its red and yellow stratified rock faces rich in color and against the vibrant turquoise of the sea.", "negative_prompt_textbox": "Strange motion trajectory, a poor composition and deformed video, worst quality, normal quality, low quality, low resolution, duplicate and ugly, strange body structure, long and strange neck, bad teeth, bad eyes, bad limbs, bad hands, rotating camera, blurry camera, shaking camera", "sampler_dropdown": "Euler", "sample_step_slider": 30, "width_slider": 672, "height_slider": 384, "is_image": is_image,"length_slider": length_slider,"cfg_scale_slider": 6,"seed_textbox": 43,})r = requests.post(f'{url}/easyanimate/infer_forward', data=datas, headers=head,timeout=1500)data = r.content.decode('utf-8')return dataif __name__ == '__main__':# initiate timenow_date    = datetime.now()time_start  = time.time()  url = '<eas-service-url>'token = '<eas-service-token>'# -------------------------- ##  Step 3: infer# -------------------------- #is_image = Falselength_slider = 27outputs = post_infer(is_image, length_slider, url = url, token=token)# Get decoded dataoutputs = json.loads(outputs)base64_encoding = outputs["base64_encoding"]decoded_data = base64.b64decode(base64_encoding)if is_image or length_slider == 1:file_path = "1.png"else:file_path = "1.mp4"with open(file_path, "wb") as file:file.write(decoded_data)# End of record timetime_end = time.time()  time_sum = (time_end - time_start) % 60 print('# --------------------------------------------------------- #')print(f'#   Total expenditure: {time_sum}s')print('# --------------------------------------------------------- #')

其中：

  • < eas-service-url>：替换为步骤1中查询到的服务访问地址。
  • < eas-service-token>：替换为步骤1中查询到的服务Token。

这篇关于基于EasyAnimate模型的视频生成最佳实践的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1075486。

相关文章

Docker集成CI/CD的项目实践

Docker集成CI/CD的项目实践

《Docker集成CI/CD的项目实践》本文主要介绍了Docker集成CI/CD的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、引言1.1 什么是 CI/CD？1.2 docker 在 CI/CD 中的作用二、Docke
阅读更多...
Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

《Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)》：本文主要介绍Python基于火山引擎豆包大模型搭建QQ机器人详细的相关资料,包括开通模型、配置APIKEY鉴权和SD... 目录豆包大模型概述开通模型付费安装 SDK 环境配置 API KEY 鉴权Ark 模型接口Prompt
阅读更多...
详解Java中如何使用JFreeChart生成甘特图

详解Java中如何使用JFreeChart生成甘特图

《详解Java中如何使用JFreeChart生成甘特图》甘特图是一种流行的项目管理工具,用于显示项目的进度和任务分配,在Java开发中,JFreeChart是一个强大的开源图表库,能够生成各种类型的图... 目录引言一、JFreeChart简介二、准备工作三、创建甘特图1. 定义数据集2. 创建甘特图3.
阅读更多...
流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台，是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力，在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术，能够处理多种视频流格式，并以多种格式（RTMP、RTSP、HTTP-FLV、WebS
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
AI一键生成 PPT

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人，是不是经常需要制作各种PPT来分享我的生活和想法。但是，你们知道，有时候灵感来了，时间却不够用了！😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手！🌟 什么是Kimi？ 一款月之暗面科技有限公司开发的AI办公工具，帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师，Kimi都能够为你的办公文
阅读更多...
Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

Andrej Karpathy最新采访：认知核心模型10亿参数就够了，AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人，AI大神Andrej Karpathy，曾是OpenAI联合创始人之一，特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ，宣布将长期致力于AI原生教育。 近日，Andrej Karpathy接受了No Priors（投资博客）的采访，与硅谷知名投资人 Sara Guo 和 Elad G
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2