本文主要是介绍Sora 的算力困局:如果正式推出,可能需要 72 万张 H100,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在上个月推出视频生成模型 Sora 后,就在昨天,OpenAI 又发布了一系列创意工作者借助 Sora 进行的创作,效果极为惊艳。毫无疑问,就生成质量,Sora 是迄今为止最强的视频生成模型,它的出现不仅会直接对创意行业带来冲击,也会影响对机器人、自动驾驶领域的一些关键问题的解决。
虽然 OpenAI 发布了 Sora 的技术报告,但报告中关于技术细节的呈现极为有限,本文编译自 Factorial Fund 的 Matthias Plappert 的研究,Matthias 曾在 OpenAI 任职并参与了 Codex 项目,在这篇研究中,Matthias 探讨了 Sora 的关键技术细节、模型的创新点是什么又会带来哪些重要影响外,还分析了 Sora 这样的视频生成模型对算力的需求。Matthias 认为,随着视频生成的应用越来越广泛依赖,推理环节的计算需求一定会迅速超过训练环节,尤其对于 Sora 这样的 diffusion-based 模型。
根据 Matthias 的估算,Sora 在训练环节对算力需求就是 LLM 高出好几个倍,大约需要在 4200-10500 张 Nvidia H100 上训练 1 个月,并且,当模型生成 1530 万到 3810 万分钟的视频后,推理环节的计算成本将迅速超过训练环节。作为对比,目前用户每天上传到 TikTok 的视频为 1700 万分钟,YouTube 则为 4300 万分钟。OpenAI CTO Mira 在近期的一个访谈中也提到,视频生成的成本问题也是 Sora 暂时还不能对公众开放的原因,OpenAI 希望做到和 Dall·E 图片生成接近的成本之后再考虑开放。
这篇关于Sora 的算力困局:如果正式推出,可能需要 72 万张 H100的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!