世界杯新CP,阿里云AI新技能C位出道

2023-11-05 03:59

本文主要是介绍世界杯新CP,阿里云AI新技能C位出道,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本届世界杯互联网直播的顺利进行,离不开各大云计算厂商的支持。在这其中,阿里云是当之无愧的“C位“,除了优酷外,阿里云还支撑了CNTV、CCTV5客户端,为全网70%的世界杯直播流量保驾护航。

对于世界杯这种超大观看量级、超强影响力的重要体育赛事,阿里云一直致力研究的AI技术一定不会缺席。

如何用AI替代传统的内容加工模式,高效地产出比赛集锦并将精彩内容快速呈现给观众呢?世界杯期间,阿里云联合阿里巴巴机器智能技术实验室,利用“视频AI+云剪辑+媒资管理”的技术,实时产生精彩集锦和球星集锦,满足球迷们的重温赛事和追星的需求,本文将揭晓技术实现过程。

从整场赛事维度产生精彩集锦

首先,要做的事情是让机器比人更懂视频。通过对过去多届世界杯的多场赛事,以及上万篇足球或世界杯相关文稿的学习,阿里云视频AI对球场、球员、比赛机制、特定行为等都有了全面的理解,所以它具备像观众一样去客观地认知和感受每一场世界杯球赛的能力。

其次,大量的标注工作也是必不可少的,包括对帧图景深、位置、事件、红黄牌、不同角色行为、禁区危险画面及球星人脸的标注,也包含对音频中关键词、音频事件等的标注。

image

最后,便是准确地提取“精彩”的内容。在这个环节,算法和工程上进行了多处创新。包括:

  1. 将视频进行多模态分析,从视频画面、音频、文字等多个维度提取关键信息,再通过融合或者相互校验,大幅度提高锁定精彩内容的准确性。
  2. 将音频的信息分析和视频行为分析结果取权重融合判断,将视频时域、空域网络权重与音频事件、ASR网络自适应累加,从而对射门、进球、犯规、精妙传球等精彩镜头准确捕获;同时,结合实时事件信息分析结果进行合理回溯或预测,完成事件提取,比如受伤、换人、过人等事件相关的回放、特写、裁判行为抓取等。
  3. 利用多维数据进行相互校验,结合事件回溯和预测技术,进行进一步的信息平滑处理,在直播过程中逐渐累积精彩集锦或球星集锦。

从球星的维度产生球星集锦

赛事精彩集锦是以比赛本身为核心,对精彩信息进行定义、提取、汇聚与展示;而球星集锦是以特定球员为核心,获取直播赛事中与球星相关的关键画面或关键事件。这一技术不仅能为视频生产方实时提供素材,也能快速呈现球星爱豆的精华镜头,让球迷们过足眼瘾。

image

简单来说,球星集锦的实现通过对世界杯场景进行深入理解和分析,从比赛视频、解说词音频、球星库及人物场记等各个维度进行识别与分析,并利用多模态融合技术,从而实现复杂场景下的集锦效果。

在视频AI处理中,通过识别视频中已注册的球星并进行人物追踪,同时做了一定程度的容错处理和补偿优化,并针对不同位置的球星微调追踪模型,最终对球星在视频中出现的时间线、幅面坐标及置信度进行综合的动态分析。

在解说词AI处理中, 则使用了世界杯场景的语音识别模型,该模型对球员名称、足球术语、解说员的语速/语气/语调等进行了额外的训练和优化,尤其是在声学模型上针对足球场景下的球场及观众噪声进行了适应性训练,使得其最终对世界杯解说词的识别准确率提升了超过10个百分点。

_2018_07_09_4_15_55

云剪辑是生成球星集锦的最后一步,它能够接收视频AI输出的最终时间线,对原始素材进行剪切合并。云剪辑可根据需要来开启并行剪辑模式,这种模式下,原始素材片段越多,剪辑倍速越高。另外,云剪辑还可接收高级剪辑参数,如在不同剪辑片段之间增加转场,在球星首次特写帧增加贴纸,增加背景音乐、片头片尾等,丰富集锦的娱乐效果。

如何瞬时产出视频集锦

对于直播体育赛事,集锦视频产出的高效性非常重要。这也是视频AI真正可以替代人力发挥其价值的依据之一。而这对于视频云的流传输、音视频编解码、直转点以及云剪辑等技术能力都是极大的挑战。

在保证实时性上,阿里视频云利用直转点技术,先碎片化进行实时多模态分析,再结合事件回溯与预估,对精彩集锦进行累积和快速调整,最终合理聚合产出优质集锦。

依靠强大的流媒体处理能力,可以保证每场比赛的精彩集锦以及所有球星集锦,在3-5分钟内生成,再由平台快速发布出去。技术经历过无数次大“舞台”的洗练,本次世界杯中,再一次完美地解决了这一问题。

可预见的未来

激情赛事已经过半,阿里云视频AI技术在本次世界杯中也成功落地,而这并不是结局,这是将视频AI应用于体育行业以及更多其他行业的开端。经历了对世界杯如此大型赛事的稳定保障,阿里视频云将更成熟、稳定地去应对赛事场景下的视频分析与处理。AI技术也将渗透到各个行业中,帮助用户有效提高视频的生产效率,让内容更快、更准、更优。

除了视频AI之外,阿里云在本次世界杯中用到的窄带高清、50帧极清、CDN智能调度等技术,也为2018年的世界杯的广大体育迷提供了更好的观看体验。阿里云目前已经是国内视频服务体量最大的云计算公司,客户涵盖社交、教育、电商、游戏等,未来也将不断致力释放技术红利,帮助越来越多的客户实现业务飞速增长,站领行业“C位”。

这篇关于世界杯新CP,阿里云AI新技能C位出道的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/347267

相关文章

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

Spring AI ectorStore的使用流程

《SpringAIectorStore的使用流程》SpringAI中的VectorStore是一种用于存储和检索高维向量数据的数据库或存储解决方案,它在AI应用中发挥着至关重要的作用,本文给大家介... 目录一、VectorStore的基本概念二、VectorStore的核心接口三、VectorStore的

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

Spring AI集成DeepSeek的详细步骤

《SpringAI集成DeepSeek的详细步骤》DeepSeek作为一款卓越的国产AI模型,越来越多的公司考虑在自己的应用中集成,对于Java应用来说,我们可以借助SpringAI集成DeepSe... 目录DeepSeek 介绍Spring AI 是什么?1、环境准备2、构建项目2.1、pom依赖2.2

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

SpringBoot整合DeepSeek实现AI对话功能

《SpringBoot整合DeepSeek实现AI对话功能》本文介绍了如何在SpringBoot项目中整合DeepSeekAPI和本地私有化部署DeepSeekR1模型,通过SpringAI框架简化了... 目录Spring AI版本依赖整合DeepSeek API key整合本地化部署的DeepSeek