如何在算家云搭建OpenSora 1.2(文本生成视频)

2024-09-04 23:28

本文主要是介绍如何在算家云搭建OpenSora 1.2(文本生成视频),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一. OpenSora 1.2简介

1. 技术特点

高清视频生成 :

  • OpenSora 1.2 在 720p 高清文生视频质量和生成时长上取得了突破性进展,支持无缝产出任意风格的高质量短片。
  • 通过引入视频压缩网络(VAE)和更优的扩散模型算法,显著提升了视频生成的质量和效率。

视频压缩网络 :

  • OpenSora 团队提出了一个创新的视频压缩网络,该网络在空间和时间两个维度上分别进行压缩。首先在空间维度上进行 8x8 倍的压缩,接着在时间维度上进一步压缩了 4 倍。这种压缩策略既避免了因抽帧而牺牲视频流畅度的弊端,又大幅降低了训练成本。

更优的扩散模型算法 :

  • 基于 Stable Diffusion 3 的研究成果,OpenSora 团队提供了一套完整的训练解决方案,包括简单易用的整流(rectified flow)训练、用于训练加速的 Logit-norm 时间步长采样、基于分辨率和视频长度的时间步长采样等。这些技术的整合不仅加快了模型的训练速度,还显著减少了推理阶段的等待时间。

模型评估体系 :

  • OpenSora 团队构建了更完善的模型评估体系,保障模型的稳健性和泛化能力。他们跟踪了 100 张图像和 1k 个视频的校正流评估损失,并使用 VBench 进行自动视频评估,以监控训练过程和评估模型性能。

2. 应用场景

游戏开发 :

  • 游戏开发者可以使用 OpenSora 生成游戏场景、人物动画等,提升游戏画面表现力。

影视制作 :

  • 电影、电视剧等影视作品的制作人员可以使用 OpenSora 生成各种场景、特效等,为影视作品增添视觉效果。

广告制作 :

  • 广告制作人员可以使用 OpenSora 生成各种场景和动画,提升广告创意和视觉效果。

教育和培训 :

  • OpenSora 可以用于制作教学视频、演示视频等,为用户提供更直观的学习体验。

个人创作 :

  • 个人用户可以使用 OpenSora 制作各种短视频,满足个人创作需求。

3. 其他特性

多语言能力 :

  • OpenSora 1.2 通过用 mT5 替换了 T5,增强了多语言能力,使得模型能够更好地处理不同语言的文本输入。

生成可控性 :

  • 提供了更多的可控性选项,使用户能够根据需要调整生成的视频内容和风格。

支持任意长度和分辨率 :

  • 采用了 bucket 策略,从而支持生成任意长度和分辨率的视频。

4. 模型下载与资源

  • 模型下载 :OpenSora 1.2 的模型可以在 Hugging Face 等平台上免费下载和使用,具体链接如:Huggingface 模型下载。
  • 代码资源 :相关的代码和文档可以在 GitHub 等开源平台上找到,便于开发者进行二次开发和研究。

二、模型搭建流程

下面将以 open sora1.2 项目进行部署,由于模型较大,建议使用 RTX3090 及以上显卡 。

1. 选择主机和镜像

(1)在“租用实例”页面,点击进入应用社区,选择相应的模型

image.png

image.png

(2)点击“选择”后会自动匹配模型,选择 3090 卡,点击“立即创建”即可创建实例

image.png

2. 进入创建的实例

在“项目实例”页面点击对应实例的“Web SSH”操作

image.png

image.png

以下命令均在该页面进行

(1)打开文档

cd Open-Sora

(2)激活虚拟环境 opensora

conda activate opensora

(3)运行 py 文件

export HF_ENDPOINT=https://hf-mirror.com
python scripts/inference.py configs/opensora-v1-2/inference/sample.py \--num-frames 4s --resolution 144p \--layernorm-kernel False --flash-attn False \--prompt "a beautiful room"

出现以下界面即为运行成功,红框内为保存视频的地址,返回项目实例的文件管理中找到该视频即可播放。

image.png

如果想要在网页查看视频,可以通过 python http 服务进行显示,以下示例为监听 8080 端口,继续进行下述操作步骤

cd samples/samples
python -m http.server 8080

3.开启外部访问获取访问链接

返回“项目实例”列表,选择并点击对应实例“开放端口”操作。

可选择”对外开放端口“,实名认证后即可使用。

也可选择”本地私密访问“进行下载解压 ssh 工具,打开得到对应界面,选择对应的项目以及实例开放端口即可。

点击开放端口在浏览器输入 127.0.0.1:8080 即可访问。

image.png

image.png

打开浏览器输入 127.0.0.1:8080 即可显示运行的视频。

以上就是在算家云搭建OpenSora 1.2的流程,具体使用方式可进入算家云应用社区查看该模型的使用说明。

复制下方网址,进入算家云,选择模型,一键开启 AI 之旅!

算家云应用社区 www.suanjiayun.com/container/#/mirror

首页.png

这篇关于如何在算家云搭建OpenSora 1.2(文本生成视频)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1137338

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

usaco 1.2 Palindromic Squares(进制转化)

考察进制转化 注意一些细节就可以了 直接上代码: /*ID: who jayLANG: C++TASK: palsquare*/#include<stdio.h>int x[20],xlen,y[20],ylen,B;void change(int n){int m;m=n;xlen=0;while(m){x[++xlen]=m%B;m/=B;}m=n*n;ylen=0;whi

usaco 1.2 Name That Number(数字字母转化)

巧妙的利用code[b[0]-'A'] 将字符ABC...Z转换为数字 需要注意的是重新开一个数组 c [ ] 存储字符串 应人为的在末尾附上 ‘ \ 0 ’ 详见代码: /*ID: who jayLANG: C++TASK: namenum*/#include<stdio.h>#include<string.h>int main(){FILE *fin = fopen (

usaco 1.2 Milking Cows(类hash表)

第一种思路被卡了时间 到第二种思路的时候就觉得第一种思路太坑爹了 代码又长又臭还超时!! 第一种思路:我不知道为什么最后一组数据会被卡 超时超了0.2s左右 大概想法是 快排加一个遍历 先将开始时间按升序排好 然后开始遍历比较 1 若 下一个开始beg[i] 小于 tem_end 则说明本组数据与上组数据是在连续的一个区间 取max( ed[i],tem_end ) 2 反之 这个

usaco 1.2 Transformations(模拟)

我的做法就是一个一个情况枚举出来 注意计算公式: ( 变换后的矩阵记为C) 顺时针旋转90°:C[i] [j]=A[n-j-1] [i] (旋转180°和270° 可以多转几个九十度来推) 对称:C[i] [n-j-1]=A[i] [j] 代码有点长 。。。 /*ID: who jayLANG: C++TASK: transform*/#include<

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

poj 1287 Networking(prim or kruscal最小生成树)

题意给你点与点间距离,求最小生成树。 注意点是,两点之间可能有不同的路,输入的时候选择最小的,和之前有道最短路WA的题目类似。 prim代码: #include<stdio.h>const int MaxN = 51;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int P;int prim(){bool vis[MaxN];