AI自动生成国风视频海外引关注,百度文心大模型助力AIGC智能创作

本文主要是介绍AI自动生成国风视频海外引关注,百度文心大模型助力AIGC智能创作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

“风吹仙袂飘飖举,犹似霓裳羽衣舞。”去年河南卫视的春晚舞蹈《唐宫夜宴》和央视虎年春晚舞蹈《只此青绿》都爆火出圈,令无数人梦回大唐。近日,在美国波士顿举办的科技峰会 EmTech Digital 上,也有一支中国风视频受到与会者的瞩目,纷纷感叹中国传统文化的巨大魅力。

更受关注的是,这支名为“虎年春晚上的中国文化”的两分钟技术演示视频,是依托大模型技术由 AI 自动生成的,背后的技术来自百度研究院的智能视频合成平台 VidPress。为了更好地体现“国风”,由 VidPress 自动化制作的视频不但画面生动丰富,还使用中国传统乐器古筝作为背景音乐,并配以自动语音合成的解说进行生动解读。

在 EmTech Digital 科技峰会上,作为现场唯一受邀的中国科技公司,百度美国研发中心副总经理李幸在演讲中详细解读了 VidPress 背后的技术。由百度研究院孵化的 VidPress 是业界首个支撑通用型、大规模生产的智能视频合成平台,用户仅需一键输入新闻图文内容链接,就可以自动化完成视频制作,整套制作流程在数分钟内即可全部完成。

VidPress 原理揭秘

五大步骤实现图文自动转视频

VidPress 的工作原理和剪辑师制作视频的步骤类似:先准备文字脚本,然后收集媒体素材,再将素材处理成视频片段,将脚本配音和视频进行对齐,最后进行编辑和检查。通过 AI 技术,VidPress 可以实现文字分析和摘要、视频内容搜索、素材智能化处理、音视频对齐,以及智能剪辑等5个步骤的自动化。

用户输入图文内容后,例如输入某条新闻事件的链接,平台将利用多个自然语言处理模型对文字内容进行分析。通过文字摘要模型,平台可以自动生成一篇字数符合要求且适合视频呈现的解说词,并通过百度文字转音频服务(TTS)合成解说词语音;通过语义理解模型,平台识别故事中的关键信息,包括主题、段落主旨、核心人物或者机构等。

随后,平台会根据对原文的理解,通过自有视频库和精准搜索能力,智能化聚合最新最适合呈现的内容,以及从同一主题相关新闻里抽取更多的素材及其语义表征,充分保障素材内容的丰富度和相关性。对于收集到的视频素材,平台基于图像识别、视频内容理解等计算机视觉技术进一步解析和理解,自动剪切和精选视频素材。

音视频对齐剪辑是关键的一步。最直接的处理方式是将故事中的每一句话作为一个搜索目标,寻找对应的视频片段并拼接起来,但用户真正关注的是故事中的关键点,技术上称为兴趣锚点(anchor point)。通过 VidPress 特有的时间轴对齐算法,选取出文本中的兴趣锚点,再将媒体片段与兴趣锚点进行相关度打分,将优质媒体片段优先放入时间轴,并结合适当的素材搭配组织,以此保证视频的整体观感和用户兴趣的持续激发。当时间轴生成完毕之后,数据转交给渲染器,从而生成一个完成的视频。

文心大模型助力 VidPress

打开 AIGC 智能创作想象空间

VidPress 使用了大量自然语言处理技术对图文内容进行分析,而这些技术离不开百度文心大模型的支持。

去年12月,百度与鹏城实验室联合发布双方共同研发的全球首个知识增强千亿大模型——鹏城-百度·文心(模型版本号:ERNIE 3.0 Titan),模型参数规模达到2600亿,是目前全球最大中文单体模型,致力于解决传统 AI 模型泛化性差、强依赖于昂贵的人工标注数据、落地成本高等应用难题,降低 AI 开发与应用门槛。

鹏城-百度·文心在机器阅读理解、文本分类、语义相似度计算等60多项任务中取得最好效果,并大幅刷新小样本学习任务基准。VidPress 平台的文本摘要和语义分析模型都是基于文心大模型训练的结果。

此外,VidPress 还使用了文心跨模态大模型 ERNIE-ViL。借助飞桨深度学习平台分布式训练领先优势,百度 ERNIE-ViL 首次将场景图(Scene Graph)知识融入多模态预训练,曾在5项多模态任务上刷新世界最好效果。文心跨模态大模型可以对媒体片段与兴趣点进行相关度打分,寻找最契合故事的媒体片段。

在视频素材检索和内容质量提升上,源自百度积累多年的视觉技术,VidPress 以智感超清为基础进行画质提升,以多模态预训练大模型为主实现语义理解。秉持领先且实用的理念,百度视觉技术近年来已获得40余项世界冠军,相关专利位列中国申请量及质量第一,获得行业、政府及国家认可10余次,视觉公有云能力连续多次在 IDC/Forrester 等评选中位居市场第一。

来自 EmTech Digital 科技峰会的主办方麻省理工科技评论的高级 AI 编辑 Will Heaven 评价说“人工智能正变得越来越多模态,语言人工智能和视觉人工智能正在以一种非常酷的方式结合在一起。百度的视频生成系统 VidPress 充分融合了人工智能最具代表性的各个模型,是跨模态 AI 的代表应用。”

目前,AIGC(人工智能内容生产)正成为越来越重要的新型内容生产方式。VidPress 图文转视频作为其中的重要组成部分,未来会更大规模、更好地服务用户,这不仅会提升效率,也会打开更多内容创作的想象空间。

这篇关于AI自动生成国风视频海外引关注,百度文心大模型助力AIGC智能创作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/293757

相关文章

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

pytorch自动求梯度autograd的实现

《pytorch自动求梯度autograd的实现》autograd是一个自动微分引擎,它可以自动计算张量的梯度,本文主要介绍了pytorch自动求梯度autograd的实现,具有一定的参考价值,感兴趣... autograd是pytorch构建神经网络的核心。在 PyTorch 中,结合以下代码例子,当你

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》:本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、

MySQL中动态生成SQL语句去掉所有字段的空格的操作方法

《MySQL中动态生成SQL语句去掉所有字段的空格的操作方法》在数据库管理过程中,我们常常会遇到需要对表中字段进行清洗和整理的情况,本文将详细介绍如何在MySQL中动态生成SQL语句来去掉所有字段的空... 目录在mysql中动态生成SQL语句去掉所有字段的空格准备工作原理分析动态生成SQL语句在MySQL

Spring Boot项目中结合MyBatis实现MySQL的自动主从切换功能

《SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能》:本文主要介绍SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能,本文分步骤给大家介绍的... 目录原理解析1. mysql主从复制(Master-Slave Replication)2. 读写分离3.

基于Python和MoviePy实现照片管理和视频合成工具

《基于Python和MoviePy实现照片管理和视频合成工具》在这篇博客中,我们将详细剖析一个基于Python的图形界面应用程序,该程序使用wxPython构建用户界面,并结合MoviePy、Pill... 目录引言项目概述代码结构分析1. 导入和依赖2. 主类:PhotoManager初始化方法:__in

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Java利用docx4j+Freemarker生成word文档

《Java利用docx4j+Freemarker生成word文档》这篇文章主要为大家详细介绍了Java如何利用docx4j+Freemarker生成word文档,文中的示例代码讲解详细,感兴趣的小伙伴... 目录技术方案maven依赖创建模板文件实现代码技术方案Java 1.8 + docx4j + Fr

微信公众号脚本-获取热搜自动新建草稿并发布文章

《微信公众号脚本-获取热搜自动新建草稿并发布文章》本来想写一个自动化发布微信公众号的小绿书的脚本,但是微信公众号官网没有小绿书的接口,那就写一个获取热搜微信普通文章的脚本吧,:本文主要介绍微信公众... 目录介绍思路前期准备环境要求获取接口token获取热搜获取热搜数据下载热搜图片给图片加上标题文字上传图片