全球首个开源类Sora模型大升级,16秒720p画质电影感爆棚!代码和权重全面开源!

本文主要是介绍全球首个开源类Sora模型大升级,16秒720p画质电影感爆棚!代码和权重全面开源!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

01 视频界开源战士

02 深度解码技术

03 打破闭环,开源赋能


潞晨Open-Sora团队刚刚在720p高清文生视频质量和生成时长上实现了突破性进展!

全新升级的Open-Sora不仅支持无缝生成任意风格的高质量短片,更令人惊喜的是,团队选择继续全部开源。
 

GitHub地址:https://github.com/hpcaitech/Open-Sora



没体验过OpenAI最新版GPT-4o?快戳最详细升级教程,几分钟搞定:

升级ChatGPT-4o Turbo步骤icon-default.png?t=N7T8https://www.zhihu.com/pin/1768399982598909952

通过他们的模型权重,可以生成各种酷炫短片,如海浪与海螺的亲密接触,以及深不可测的森林秘境。

人物肖像的渲染也相当逼真,不论是中国古典美女还是欧美风人物,都能保持一致的风格

即使是电影级别的镜头制作,也能轻松应对。


例如,实现流畅的变焦效果,为影片增添专业级的视觉效果,帮助电影制作人员创造出逼真的电影镜头。


 

01 视频界开源战士


LambdaLabs,美国科技界独角兽,基于潞晨团队先前开源的Open-Sora模型权重打造了一个数字乐高宇宙,乐高迷们在这里找到了极致的创意体验。

报告地址:https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md


潞晨团队深知开源对于文生视频技术突破的重要性,他们不仅持续开源模型权重,还在Github上晒出了技术路线,让每个玩家都能成为文生视频大模型的掌控者。

02 深度解码技术


潞晨Open-Sora团队的技术报告深度剖析了本次模型训练的核心和关键。在上一个版本基础上,引入了视频压缩网络(Video Compression Network)、更优的扩散模型算法、更多的可控性,并利用更多的数据训练出了1.1B的扩散生成模型。


在这个「算力为王」的时代,视频模型训练有两大痛点:计算资源的巨大消耗与模型输出质量的高标准。

潞晨Open-Sora团队以一种极简而有效的方案,成功地在成本和质量之间找到了平衡点。

Open-Sora团队提出了一个创新的视频压缩网络(VAE),该网络在空间和时间两个维度上分别进行压缩。

具体来说,他们首先在空间维度上进行了8x8倍的压缩,接着在时间维度上进一步压缩了4倍。

通过这种创新的压缩策略,既避免了因抽帧而牺牲视频流畅度的弊端,又大幅降低了训练成本,实现了成本与质量的双重优化。

Stable Diffusion 3,最新的扩散模型,通过采用rectified flow技术替代DDPM,显著提升了图片和视频生成的质量。

尽管SD3的rectified flow训练代码尚未公开,但潞晨Open-Sora团队已经基于SD3的研究成果,提供了一套完整的训练解决方案,包括:

  • 简单易用的rectified flow训练
     
  • 用于训练加速的Logit-norm时间步长采样
     
  • 基于分辨率和视频长度的时间步长采样

通过这些技术的整合,不仅能够加快模型的训练速度,还能显著减少推理阶段的等待时间,确保用户体验的流畅性。此外,这套训练方案还支持在推理过程中输出多种视频宽高比,满足多样化场景下的视频素材需求,为视频内容创作者提供了更加丰富的创作工具。

他们在报告中也透露了更多关于模型训练的核心细节,包括数据清洗和模型调优的实用技巧,以及构建了更完善的模型评估体系,保障模型的稳健性和泛化能力。

他们还提供了可以自行一键部署的Gradio应用,并支持调节输出的运动分数、美学分数和镜头移动方式等参数,甚至可以一键通过GPT-4o自动修改指令并支持中文输入。

03 打破闭环,开源赋能

自OpenAI Sora发布以来,业界对Sora的开放性期待值爆表,但现实却是持续的等待游戏。潞晨Open-Sora的开源,为文生视频的创新和发展注入了强劲的活力。

这一转型为企业用户解锁了自主开发文生视频应用的新技能,无论是打造沉浸式游戏、创意广告还是制作影视大片,文生视频技术的应用场景得到了指数级扩展。


如何使用WildCard正确方式打开GPT-4o,目前 WildCard 支持的服务非常齐全,可以说是应有尽有!

官网有更详细介绍:WildCard

推荐阅读:


更强大Mamba-2正式发布啦!!!



黎曼猜想取得重大进展!!

这篇关于全球首个开源类Sora模型大升级,16秒720p画质电影感爆棚!代码和权重全面开源!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1073751

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

Retrieval-based-Voice-Conversion-WebUI模型构建指南

一、模型介绍 Retrieval-based-Voice-Conversion-WebUI(简称 RVC)模型是一个基于 VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)的简单易用的语音转换框架。 具有以下特点 简单易用:RVC 模型通过简单易用的网页界面,使得用户无需深入了

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

图神经网络模型介绍(1)

我们将图神经网络分为基于谱域的模型和基于空域的模型,并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络:谱图卷积网络、切比雪夫网络和图卷积网络。 (1)谱图卷积网络 卷积定理:函数卷积的傅里叶变换是函数傅里叶变换的乘积,即F{f*g}

秋招最新大模型算法面试,熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候,不知道面试完会不会复盘、总结,做笔记的习惯,这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助,都附有完整答案,熬夜也要看完,祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费