快手可灵大模型开放视频续写功能,可生成最长约3分钟视频

本文主要是介绍快手可灵大模型开放视频续写功能,可生成最长约3分钟视频,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

6月21日,可灵再度进化,正式推出图生视频功能,支持用任意静态图像生成5s视频,并且可搭配不同的文本内容,实现丰富的视觉叙事 。

同时,可灵还发布了业内领先的视频续写功能,可为已生成的视频(含文生视频及图生视频)提供便捷的一键续写和连续多次续写,将视频最长可延伸至约3分钟,充分显示了可灵强大的想象力与精细的可控性,极大地拓展了视频大模型的创作边界。

化静为动,按需定制视觉叙事

此前,“可灵”在文生视频方面已经展现出了创造逼真运动场景、精确模拟物理特性的强大能力,以及将复杂概念巧妙融合的高超技艺,其输出堪比电影级画质,并允许用户自由调节视频的纵横比。

而这些卓越特性,如今都被完美融入到了图生视频模型。用户只需上传一张图片,“可灵”即能基于对图像的深度解析,变静为动,赋予其5秒的鲜活生命力。

上传经典的蒙娜丽莎,可灵能够让蒙娜丽莎戴上墨镜,并赋予她灵动的眼神交流。让名画中的人物活灵活现。

得益于其基础模型架构中的3D时空联合注意力机制,可灵在构建复杂时空运动方面也展现了卓越能力。这使得模型在转换静态图像为动态视频时,能够细腻而准确地实现大幅度运动场景。

例如,只需上传一张牧羊犬追球的静止照片,模型就能生成一段生动的视频:牧羊犬活灵活现地奔跑追逐网球,其耳朵轻轻晃动,毛发随风飘扬,而网球则在空中弹跳,视频整体自然而流畅。

再以一张汽车飞驰的图片为素材,可灵能创造出身临其境的驾驶场景。在这段视频中,汽车不仅在公路上展现出疾速前行的姿态,而且巧妙地融入了对向车道上连续不断的车流。

同时,道路两旁的树木快速向后掠去,模拟出强烈的行驶速度感,而虚化处理的隔离带进一步增强了视觉上的动态效果与速度印象,整体画面宛如出自精心策划的广告大片。

可灵图生视频模型还融入了强大的提示词融合技术,深化了对图像语义与用户指令的理解整合。这意味着,模型能够根据用户提供的不同文本指令,精妙地变换视频中的动态表现。

举例来说,当使用一张女孩的照片生成视频,模型默认生成的效果可能是轻风中她发丝轻轻飘动,周遭花朵摇曳,水面闪烁着细腻的波纹。而如果用户具体输入“女孩转身背对镜头”,视频便会智能添加女孩优雅转身的动作,并细腻捕捉到转身瞬间的微笑和眨眼,展现了自然而生动的细节处理能力。

再比如用巨龙图片生成视频,输入“正在捕食的巨龙,飞扬的沙子,奇幻风格的电影”,视频便呈现巨龙昂首展翅掀起漫天黄沙,嘴部开合仿佛在咆哮的生动效果与奇幻场景。通过这种文本与图像意义的紧密联动,可灵将按需定制的视觉叙事提升到了一个新高度。

此外,可灵图生视频模型支持不同风格的图像输入,不论是自然写实还是风格化图像都能轻松处理,同时兼容各种长宽比的图像输入,展示出强大的灵活性和适应性。例如这张骑士拿剑的竖版图片,生成视频中骑士黑袍飞舞,亮剑仙气环绕,拉满氛围感。

业内领先,视频续写可生成最长约3分钟视频

可灵大模型还新推出了业内领先的视频续写功能,用户只需一键操作,即可在已生成视频的基础上延续生成约5秒内容,该功能同时适用于文生视频和图生视频。更令人瞩目的是,通过连续多次续写,能够最长生产约3分钟的连贯视频。基于对物理运动的深入理解,视频续写不仅确保新生成部分与原视频间的运动连贯性及物理合理性,还能巧妙融入大幅度的动作变化,提升视频的生动性。

此次升级的一大亮点是集成文本控制机制于视频续写中,这意味着用户能够通过自定义提示词,为每段视频续写注入个性化创意。

得益于此,模型利用高效的提示词融合技术,平滑地在场景间过渡,响应用户的每一个灵感火花。

举例来说,一个关于古堡的视频片段,用户既可以选择让它先“太阳落下去,天空变暗”,继而“太阳升起来,天空变亮”,亦可探索另一路径:“太阳落下去,天空变暗,灯光渐亮”,随后“灯光亮起,雾气氤氲”,以此创造出各具特色的连续视觉叙事,完美贴合用户的多样化需求。

注:视频前5秒为输入视频,后9秒为续写两次后的结果

6月6日,可灵文生视频大模型正式亮相(可灵官网:https://kling.kuaishou.com),不仅在效果上比肩Sora,还即时在快影App上启动了邀测体验,截至目前,已有累计超过14万人排队申请。

此次进化,可灵文生视频基础大模型的强大能力被无缝整合到图生视频和视频续写功能中,将为用户带来更为丰富、灵活的视频创作体验。

恰逢近日CVPR2024在美国举行,在这一国际顶级计算机视觉和模式识别领域学术盛会上,快手也同步发布了可灵大模型的图生视频和视频续写等最新功能,引起现场的强烈反响。公开资料显示,今年快手共有8篇论文入选CVPR2024,彰显了其在该领域的深厚研究功底。

据「TMT星球」了解,快手还将在下月召开的2024世界人工智能大会(WAIC)上,举办以“新AI·新应用·新生态”为主题的大模型技术生态论坛。届时,快手将发布最新的大模型技术与应用战略,包括快手大模型技术矩阵全景、基座模型技术创新、应用和落地情况等。

这篇关于快手可灵大模型开放视频续写功能,可生成最长约3分钟视频的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1086331

相关文章

一份LLM资源清单围观技术大佬的日常;手把手教你在美国搭建「百万卡」AI数据中心;为啥大模型做不好简单的数学计算? | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦! 1. 为啥大模型做不好简单的数学计算?从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o),组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试,然后由经验丰富的判卷老师评判得分。 结果如上图所

大语言模型(LLMs)能够进行推理和规划吗?

大语言模型(LLMs),基本上是经过强化训练的 n-gram 模型,它们在网络规模的语言语料库(实际上,可以说是我们文明的知识库)上进行了训练,展现出了一种超乎预期的语言行为,引发了我们的广泛关注。从训练和操作的角度来看,LLMs 可以被认为是一种巨大的、非真实的记忆库,相当于为我们所有人提供了一个外部的系统 1(见图 1)。然而,它们表面上的多功能性让许多研究者好奇,这些模型是否也能在通常需要系

android 免费短信验证功能

没有太复杂的使用的话,功能实现比较简单粗暴。 在www.mob.com网站中可以申请使用免费短信验证功能。 步骤: 1.注册登录。 2.选择“短信验证码SDK” 3.下载对应的sdk包,我这是选studio的。 4.从头像那进入后台并创建短信验证应用,获取到key跟secret 5.根据技术文档操作(initSDK方法写在setContentView上面) 6.关键:在有用到的Mo

android一键分享功能部分实现

为什么叫做部分实现呢,其实是我只实现一部分的分享。如新浪微博,那还有没去实现的是微信分享。还有一部分奇怪的问题:我QQ分享跟QQ空间的分享功能,我都没配置key那些都是原本集成就有的key也可以实现分享,谁清楚的麻烦详解下。 实现分享功能我们可以去www.mob.com这个网站集成。免费的,而且还有短信验证功能。等这分享研究完后就研究下短信验证功能。 开始实现步骤(新浪分享,以下是本人自己实现

Android我的二维码扫描功能发展史(完整)

最近在研究下二维码扫描功能,跟据从网上查阅的资料到自己勉强已实现扫描功能来一一介绍我的二维码扫描功能实现的发展历程: 首页通过网络搜索发现做android二维码扫描功能看去都是基于google的ZXing项目开发。 2、搜索怎么使用ZXing实现自己的二维码扫描:从网上下载ZXing-2.2.zip以及core-2.2-source.jar文件,分别解压两个文件。然后把.jar解压出来的整个c

android 带与不带logo的二维码生成

该代码基于ZXing项目,这个网上能下载得到。 定义的控件以及属性: public static final int SCAN_CODE = 1;private ImageView iv;private EditText et;private Button qr_btn,add_logo;private Bitmap logo,bitmap,bmp; //logo图标private st

人工和AI大语言模型成本对比 ai语音模型

这里既有AI,又有生活大道理,无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统,来识别连续0123456789的英文语音。 但若不是仅针对数字,而是所有普通词汇,可能达到十几万个词,解码过程将非常复杂,识别结果组合太多,识别结果不会理想。因此只有声学模型是完全不够的,需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率,得到声学模型概率高,又符合表达

智能客服到个人助理,国内AI大模型如何改变我们的生活?

引言 随着人工智能(AI)技术的高速发展,AI大模型越来越多地出现在我们的日常生活和工作中。国内的AI大模型在过去几年里取得了显著的进展,不少独创的技术点和实际应用令人瞩目。 那么,国内的AI大模型有哪些独创的技术点?它们在实际应用中又有哪些出色表现呢?此外,普通人又该如何利用这些大模型提升工作和生活的质量和效率呢?本文将为你一一解析。 一、国内AI大模型的独创技术点 多模态学习 多

OpenCompass:大模型测评工具

大模型相关目录 大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步,扬帆起航。 大模型应用向开发路径:AI代理工作流大模型应用开发实用开源项目汇总大模型问答项目问答性能评估方法大模型数据侧总结大模型token等基本概念及参数和内存的关系大模型应用开发-华为大模型生态规划从零开始的LLaMA-Factor

模型压缩综述

https://www.cnblogs.com/shixiangwan/p/9015010.html