MiniMax低调发布首款文生视频模型

2024-09-02 12:20

本文主要是介绍MiniMax低调发布首款文生视频模型,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

8月31日,MiniMax低调发布首款视频生成大模型,同时发布一条由MiniMax大模型生成的2分钟视频《魔法硬币》。

值得注意的是,目前MiniMax并未公布模型的具体参数和技术要点。当天,MiniMax创始人闫俊杰在接受界面新闻等媒体群访时表示,“我们确实在视频模型生成方面取得很大的进展,根据内部评测以及跑分,我们比Runway的(生成视频)效果更好。”

据其透露,目前的视频生成模型只是第一版,很快会有新版本,后续还会在数据、算法本身、使用细节等方面继续迭代,现在只提供文生视频。未来图生视频、文+图生成视频都会陆续出来。

“我们的策略先再等一两周,等新东西到达满意状态后,可能会考虑商业化。”闫俊杰进一步表示。

目前,MiniMax的商业化由两部分组成,开放平台有两千多家客户。其次,该公司的产品中也有广告机制。“现阶段,最重要的东西不是商业化,而是技术能够到达广泛可用的程度。”闫俊杰说。

然而,相较于快手可灵,MiniMax推出视频生成模型在时间上晚了一两个月。

闫俊杰解释,这期间,团队一直在解决更难的技术问题——如何训练算力较高的内容。难度在训练视频生成能力,需要先把视频变成token,这些token非常长,越长复杂度越高。最终,MiniMax团队通过算法不断降低复杂度,压缩率变得更高,因此发布时间晚了一两个月。

但他也表示,不管是视频、文本、声音,MiniMax团队的核心研发思路不在于找一个算法提升5%、10%的路径,“如果能提升几倍就一定要做出来,只提升5%就不太值得做。”

谈及为何一定要做文生视频,闫俊杰认为,本质在于人类每天消费的大部分内容是图文和视频,文字占比不高。为了有更高的用户覆盖度和使用度,唯一的办法是输出多模态内容,而不是单纯输出文字内容,一定要做多模态,这个路线是一以贯之的。

视频生成大模型存在一定难度。闫俊杰解释称,视频的工作复杂度比做文本更难,视频的上下文文本天然很长,处理难度大。

其次,视频量很大,例如5秒视频有几兆,100个字可能都不到1K,背后是几千倍的存储差距。

生成视频模型的挑战在于,之前基于文本建的这套底层基础设施不适用于视频生成,例如怎么处理、清洗以及标注数据,这就意味着基础设施也需要升级。

在当天的发布会上,闫俊杰着重提及“快”。他认为,长期看,进步越快的东西就越好。不管是做MOE还是Linear attention,还是其他探索,本质上还是让同样的效果模型变得更快。闫俊杰指出:“快才意味着同样的算力(训练内容)可以变得更好。”

当天,MiniMax开放平台负责人魏伟业在活动中表示,当前,大模型的效果、成本和多模态还面临挑战。

第一,大模型有不可避免的幻觉,也会因为对指令遵从和语言理解能力不足,导致输出不符合预期,因此要坚持做更高、更快、更强的模型。

第二,去年到今年上半年,成本是制约很多企业用不起大模型的原因。

今年五月以来,大模型领域掀起价格战,API一路降至“白菜价”。魏伟认为,低成本能够激发出更多应用场景的出现,未来API成本会再进一步降级。

第三,多模态会触发出更多的应用场景,比如文本和语音的结合,能够让大模型更好地识别和表达情绪。语音和视频的结合,能够生成带配音的短视频和广告片段。

当前,大模型领域存在很多非共识:到底要做toB(企业)还是toC(用户)?国内市场还是做海外市场,Scaling Law(规模法则)能否延续?针对这些行业内普遍的问题,闫俊杰直言:尽管有很多挑战,我们属于最乐观的公司,对技术进步、用户、产品迭代效率都充满乐观。

这篇关于MiniMax低调发布首款文生视频模型的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1129935

相关文章

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

售价599元起! 华为路由器X1/Pro发布 配置与区别一览

《售价599元起!华为路由器X1/Pro发布配置与区别一览》华为路由器X1/Pro发布,有朋友留言问华为路由X1和X1Pro怎么选择,关于这个问题,本期图文将对这二款路由器做了期参数对比,大家看... 华为路由 X1 系列已经正式发布并开启预售,将在 4 月 25 日 10:08 正式开售,两款产品分别为华

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

基于Python和MoviePy实现照片管理和视频合成工具

《基于Python和MoviePy实现照片管理和视频合成工具》在这篇博客中,我们将详细剖析一个基于Python的图形界面应用程序,该程序使用wxPython构建用户界面,并结合MoviePy、Pill... 目录引言项目概述代码结构分析1. 导入和依赖2. 主类:PhotoManager初始化方法:__in

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

微信公众号脚本-获取热搜自动新建草稿并发布文章

《微信公众号脚本-获取热搜自动新建草稿并发布文章》本来想写一个自动化发布微信公众号的小绿书的脚本,但是微信公众号官网没有小绿书的接口,那就写一个获取热搜微信普通文章的脚本吧,:本文主要介绍微信公众... 目录介绍思路前期准备环境要求获取接口token获取热搜获取热搜数据下载热搜图片给图片加上标题文字上传图片

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

SpringKafka消息发布之KafkaTemplate与事务支持功能

《SpringKafka消息发布之KafkaTemplate与事务支持功能》通过本文介绍的基本用法、序列化选项、事务支持、错误处理和性能优化技术,开发者可以构建高效可靠的Kafka消息发布系统,事务支... 目录引言一、KafkaTemplate基础二、消息序列化三、事务支持机制四、错误处理与重试五、性能优

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI