基于公有云平台实现直播、点播及小视频功能(二)

2023-12-25 06:50

本文主要是介绍基于公有云平台实现直播、点播及小视频功能(二),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

接上一篇:
呵呵,上一节不知道怎么的就开始扯起了电视的发展,不过确实是勾起了我童年的回忆,这节我们正式进入正题,先说说直播。
直播这个词看到以后,让我们想到的是什么?其实感觉也没什么,因为已经很普及,是否更多的是想到了直播带来的利益链?
“某公司财务职员私自挪用公司资产打赏某主播金额高达数百万!!!”是啊,好像更多的是这样的字眼,那这个平台是如何实现的呢?为什么能有这么大的能量?
直播包括流采集,流处理,编码,推流,拉流,解码,播放,这些步骤。
基于公有云平台实现直播、点播及小视频功能(二)
这个图片基本概括了直播的全过程

一、流采集
流采集包括图像流和音频流

音频采集
音频数据既能与图像结合组合成视频数据,也能以纯音频的方式采集播放,后者在很多成熟的应用场景如在线电台和语音电台等起着非常重要的作用。音频的采集过程主要通过设备将环境中的模拟信号采集成 PCM 编码的原始数据,然后编码压缩成 MP3 等格式的数据分发出去。常见的音频压缩格式有:MP3,AAC,HE-AAC,Opus,FLAC,Vorbis (Ogg),Speex 和 AMR等。
音频采集和编码主要面临的挑战在于:延时敏感、卡顿敏感、噪声消除(Denoise)、回声消除(AEC)、静音检测(VAD)和各种混音算法等。

图像采集
将图像采集的图片结果组合成一组连续播放的动画,即构成视频中可肉眼观看的内容。图像的采集过程主要由摄像头等设备拍摄成 YUV 编码的原始数据,然后经过编码压缩成 H.264 等格式的数据分发出去。常见的视频封装格式有:MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。
图像由于其直观感受最强并且体积也比较大,构成了一个视频内容的主要部分。图像采集和编码面临的主要挑战在于:设备兼容性差、延时敏感、卡顿敏感以及各种对图像的处理操作如美颜和水印等。

视频采集的采集源主要有 摄像头采集、屏幕录制和从视频文件推流。

二、流处理
对采集的视频音频做一些处理
流采集的过程中会采集到最原始的视频和音频文件,需要进行一些处理,例如说增加logo水印,增加时间戳,进行图像美颜等操作。

三、编码
一个原始的视频数据采集到后容量非常的大,比如说一个时长10S的1080P的视频大小在1G左右,如果未经过编码压缩的话传输会非常有压力,并且也无法满足实时性的要求,而进过H..264编码后会将视频压缩到900K左右,10M的带宽传输只需要700ms左右,可以满足实时性的要求,所以从视频采集传感器采集来的原始视频势必要经过视频编码。
基本原理
为什么巨大的原始视频可以编码成很小的视频呢?这其中的技术是什么呢?核心思想就是去除冗余信息:
1)空间冗余:图像相邻像素之间有较强的相关性
2)时间冗余:视频序列的相邻图像之间内容相似
3)编码冗余:不同像素值出现的概率不同
4)视觉冗余:人的视觉系统对某些细节不敏感
5)知识冗余:规律性的结构可由先验知识和背景知识得到

编码器的选择
视频编码器经历了数十年的发展,已经从开始的只支持帧内编码演进到现如今的 H.265 和 VP9 为代表的新一代编码器,下面是一些常见的视频编码器:
1)H.264/AVC
2)HEVC/H.265
3)VP8
4)VP9
5)FFmpeg
注:音频编码器有Mp3, AAC等。

编码完成后需要将编码后的文件以一种标准进行封装生成某种格式的媒体文件,下面是几种常见的封装格式:
1)AVI 格式(后缀为 .avi)
2)DV-AVI 格式(后缀为 .avi)
3)QuickTime File Format 格式(后缀为 .mov)
4)MPEG 格式(文件后缀可以是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等)
5)WMV 格式(后缀为.wmv .asf)
6)Real Video 格式(后缀为 .rm .rmvb)
7)Flash Video 格式(后缀为 .flv)
8)Matroska 格式(后缀为 .mkv)
9)MPEG2-TS 格式 (后缀为 .ts)
目前,我们在流媒体传输,尤其是直播中主要采用的就是 FLV 和 MPEG2-TS 格式,分别用于 RTMP/HTTP-FLV 和 HLS 协议。

四、推流
采集好的音视频文件需要被推流至一台或一个可以提供媒体服务的集群服务器上进行流分发,说的传输就必须要涉及到传输的协议:

推送协议主要有三种:

RTSP(Real Time Streaming Protocol):实时流传送协议,是用来控制声音或影像的多媒体串流协议, 由Real Networks和Netscape共同提出的;
RTMP(Real Time Messaging Protocol):实时消息传送协议,是Adobe公司为Flash播放器和服务器之间音频、视频和数据传输 开发的开放协议;
HLS(HTTP Live Streaming):是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议;

RTMP协议基于 TCP,是一种设计用来进行实时数据通信的网络协议,主要用来在 flash/AIR 平台和支持 RTMP 协议的流媒体/交互服务器之间进行音视频和数据通信。支持该协议的软件包括 Adobe Media Server/Ultrant Media Server/red5 等。
它有三种变种:
RTMP工作在TCP之上的明文协议,使用端口1935;
RTMPT封装在HTTP请求之中,可穿越防火墙;
RTMPS类似RTMPT,但使用的是HTTPS连接;

RTMP 是目前主流的流媒体传输协议,广泛用于直播领域,可以说市面上绝大多数的直播产品都采用了这个协议。
RTMP协议就像一个用来装数据包的容器,这些数据可以是AMF格式的数据,也可以是FLV中的视/音频数据。一个单一的连接可以通过不同的通道传输多路网络流。这些通道中的包都是按照固定大小的包传输的。

五、拉流
将音视频推流至流媒体服务器后,就完成了直播的第一步,接下来就有一个发布的中心,所有人可以来这个发布的地址拉去视频流,实际提供服务的产品有很多,
比较有名的有:
流媒体解决方案 Live555 (C++)
流媒体平台框架 EasyDarwin (C++,国产精品)
实时流媒体播放服务器程序DarwinStreamingSrvr (C++)
Flash流媒体服务器 Red5 (Java)
流媒体服务器 Open Streaming Server (Java)
FMS流媒体服务器 (Adobe,收费的)
Wowza流媒体服务器(Java)
开源流媒体平台FreeCast(Java)
Nginx+RTMP插件
其中Wowza也是收费的,如果你要用于商业用途的话需要购买官方的正版liences
,你可以先通过官方申请一个测试为期1个月的liences

六、CDN分发加速
这部分算是直播,点播技术能够广泛的传播的重要因素

七、解码播放
使用播放器可以将拉取到的数据流进行解码并播放
PC端:VLC比较广泛使用并且很好用的播放器
移动端:ijkplayer播放器

当然我说的每一个点都比较粗略,大概介绍一下实现原理,别的不多BB,直接开始使用公有云平台提供的服务,腾讯云LVB和阿里云(ApsaraVideo Live)
实践出真知,先从腾讯云开始:
首先,我们需要有一个实名认证后的企业或个人账户,然后需要点击申请开通直播服务(默认是没有开通的)
基于公有云平台实现直播、点播及小视频功能(二)
等待审核,官方告知的时间是3-5个工作日,当然这个是可以通过提交工单等方式来催促加速开通的。
服务开通后我们就可以开始进入直播控制台
基于公有云平台实现直播、点播及小视频功能(二)
详细的内容就不做介绍了,只要实际操作都很直观,直接切入正题,主要能够提供直播服务的核心在“接入管理”,接入管理下拉后会有两种接入方式:
1、直播码接入;
2、频道托管;
基于公有云平台实现直播、点播及小视频功能(二)
就像截图中提示的一样,直播码接入属于推荐哦,那就是官方想让你用的版本,说白了这个直播码的模式对于用户来说定制化更高,可以更加灵活的供用户使用接入到自己的直播平台中,但是实际上还是推荐先使用频道托管的模式,为啥?更直观呗!!!
进入托管频道开始
基于公有云平台实现直播、点播及小视频功能(二)
直播赠送5个免费推流频道, 正在推流并发频道数超过5个时(不包括未推流频道),按照每月并发实际推流频道峰值数减去5个免费频道收费。 超出部分收取60元/视频/月的费用
点击创建频道
基于公有云平台实现直播、点播及小视频功能(二)
标有星号的项目都要填写,基本也没有什么大的注意的地方,需要留意的是如果你的直播提供多码率的播放的话,你需要将编码部分的转标清和转高清勾选,这样才能提供多码率的播放地址,否则有只有原始码率的资源可供播放
还有水印部分,腾讯云提供全局设置,全局设置中可以自定义你的水印logo
基于公有云平台实现直播、点播及小视频功能(二)
OK,就这样建好一个频道,我们进入频道查看一下
基于公有云平台实现直播、点播及小视频功能(二)
设置开通完频道后我们会发现腾讯默认是采用RTMP协议来推流的,别问我为什么知道,看看生成的直播源设置一栏,有什么有价值的部分吗?当然,这里面有价值的部分就是直播源设置这一栏,直播源设置中有地址
基于公有云平台实现直播、点播及小视频功能(二)
这个地址的构造有一定的规律,实际产品中,您不可能为每一个主播手工创建推流和播放 URL,而是要由您的服务器自行拼装,只要符合腾讯云标准规范的 URL 就可以用来推流,如下是一条标准的推流 URL,它由三个部分组成:
基于公有云平台实现直播、点播及小视频功能(二)
防盗链签名怎么生成的呢?实际这个部分不是很关键,但是还是说一下,防盗链签名这部分是由直播频道ID加过期时间戳MD5得到的,过期时间戳是采用UNIX时间的形式,比如说:
频道ID:10905947996256980784
过期时间戳:1531728131
防盗签名:MD5(109059479962569807841531728131)=70d4526324ee4c97bd8e1c1238ad4338,生成32位小写签名
其他的其实没有什么了,可以直接推流测试下,那推流怎么推呢?最简单的方式直接使用开源的推流工具OBS,OBS是什么?百度一下你就知道,具体推流工具的设置也不多做说明,需要说明的是得到这个频道的地址后如何将推流端的数据流推到腾讯云?
点击OBS的设置
基于公有云平台实现直播、点播及小视频功能(二)
弹出对应的设置窗口,感兴趣的话可以都点开看下会有什么具体设置,我们要做的只是点击“流”,设置具体的推流地址
基于公有云平台实现直播、点播及小视频功能(二)
那用上面的那个地址为例rtmp://11179.livepush.myqcloud.com/live/11179_db358fa730db11e892905cb9018cf0d4?bizid=11179
流类型选择自定义流媒体服务器,URL填live前面的部分
rtmp://11179.livepush.myqcloud.com/live/
流名称填余下部分
11179_db358fa730db11e892905cb9018cf0d4?bizid=11179
流名称默认需要隐藏,也可以显示。
然后点击保存,这样推流的地址已经配置好了。
接下来我们要做的就是为直播找一个直播的源头,在来源一栏中点击“+”号弹出以下菜单
基于公有云平台实现直播、点播及小视频功能(二)
直播的来源很多,我们不全部说明了,这里就说最常用的两个,一个是媒体源,一个是视频捕获设备,媒体源顾名思义就是添加一个本地的资源传上去让他播放呗,视频捕获设备就是调用你的摄像头拍你呗。
话说源头也有了,如何播放呢?早就都准备好了
基于公有云平台实现直播、点播及小视频功能(二)
点击分享URL,然后直接把URL甩在浏览器上就OK了!!!
基于公有云平台实现直播、点播及小视频功能(二)
当然这样看起来有些突兀,因为只是一个直播窗口,但是实际情况窗口是在开发过程中嵌套在网页中的,类似这样:
基于公有云平台实现直播、点播及小视频功能(二)
这样就实现了直播的功能,实际情况下,可以把腾讯这边提供的这个服务当做是一个黑盒,开发的过程中只需要将其嵌套进去就可以了,同样也支持着移动端的开发,以及视频加密这些小功能。
既然频道托管模式已经说了这么多,那直播码接入方式就不需要多说了,照着这个来就可以了,没有太大的区别。
附一个腾讯的计费说明
https://cloud.tencent.com/document/product/267/2818

转载于:https://blog.51cto.com/13528213/2144941

这篇关于基于公有云平台实现直播、点播及小视频功能(二)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/534587

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

C++11第三弹:lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页: 南桥几晴秋 🌈C++专栏: 南桥谈C++ 🌈C语言专栏: C语言学习系列 🌈Linux学习专栏: 南桥谈Linux 🌈数据结构学习专栏: 数据结构杂谈 🌈数据库学习专栏: 南桥谈MySQL 🌈Qt学习专栏: 南桥谈Qt 🌈菜鸡代码练习: 练习随想记录 🌈git学习: 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短