crtmpserver系列(一):流媒体概述

2024-06-03 02:32

本文主要是介绍crtmpserver系列(一):流媒体概述,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概述
  • 流媒体系统的组成
  • 媒体文件封装
  • 传输协议
回到顶部

概述

所谓流媒体按照字面意思理解就是像流一样的媒体,看起来像是废话。流媒体现在司空见惯,所以一般人大概不会有疑问。事实上在流媒体还没有出现的时候,基本上通过网络播放电影就不太现实。通过网络播放电影的时候必须先将整个文件下载到电脑上然后才能播放,所以一般都要缓冲很久,这也是为什么最开始迅雷等下载工具流行的原因,其实大多数都是用来下电影了。

流媒体最大的特点即是能够做到边下载边播放,而不需要预先将整个文件全部下载完成之后才能播放,这样极大的改善了用户体验,也提高了实时性,使得网络直播成为可能。

那么流媒体是如何做到边下载边播放的呢,我们要了解流媒体系统的组成。

回到顶部

流媒体系统的组成

一个完整的流媒体系统由这些部分组成,信号采集,编码,传输,解码,输出。

信号采集:我们所说的流媒体系统都是要在计算机系统上面进行处理的,而系统中最主要的元素是音频和视频,从物理上面来说音频实际上是一种通过物理震动形成的机械波,音频采集即是将这种物理波转换为电信号进而转换成二进制的音频数据,一般采集得到的原始音频数据是PCM数据。视频是什么,视频实际上是顺序呈现出来的一幅幅连续的静止图像,所以视频实际上是由一幅幅静止的图像组成,视频的采集就是连续不断的采集这些静止的图像的过程,这些一幅幅的图像一般被称为帧。那么这些被称为帧的静止图像又是怎么被采集的呢,实际上图像的表现形式并不是像声音一样的波,初中的物理我们就学过成像,我们之所以能够看到图像,是因为照射在物体上的光反射到我们的眼睛进入视网膜,传导到视神经最后被我们大脑感知。所以图像的采集是对光信号的采集与转换,将光信号转换为二进制的图像帧的过程,一般我们得到的原始图像数据格式是YUV格式。

编码:什么是编码,为什么要编码。假设我们的网络容量是无限的,传输速度也是无限大的,这当然是不需要编码的。而实际上并不是,我们采集到的原始音视频数据量是很大的,所以我们需要想办法,将采集到的原始的音视频二进制数据量尽量变小,方便在网络上进行传输,同时又需要在还原(解码)的时候尽量接近原始音视频(损失,编码也有分为有损和无损)。我们有时候称编码也叫压缩编码,其实压缩这个概念类似我们平时的压缩文件的原理一样,举个简单的例子,例如有一个文本文件其内容是00000000000000000000000000000000000000000000000000 这么一串字符串,实际就是50个0字符,我们完全可以用最简单的描述来压缩,例如我们压缩之后文件内容变成50’0’表示这里有50个0字符。在还原的时候这里直接用50个0字符填充即可,这样是不是会节约大量的空间呢,如果不是50个0而是一万个0字符呢,这样经过压缩之后的压缩比会更大,也就是说重复的冗余数据越多,压缩效率越高。当然实际的压缩算法肯定没这么简单,说这么个简单的例子只是为了说明原理而已。视频的编码算法有很多种,而且要复杂很多,每一种算法的运行效率,压缩比,损失率都不一样。而原理都是一样的,在最常见的概念中,有帧内压缩和帧间压缩。

什么是帧内压缩呢,假设一副图像的背景是纯红色,前面站个人(拍证件照的场景)。在编码的时候一副图像被分成很多小块(宏块),这样由于背景中会有很多相邻的小块都是纯红色,很多纯红色的小块都可以根据其周围的小块推断出来,而不需要单独编码,这就是帧内压缩,这种压缩是在一个帧内部进行的,跟其前后的图像没有关系。

那么帧间压缩又是什么,如果一个视频中相邻的2副图像,背景都是纯红色,背景中有一个球在图像1中的位置是A点。在图像2中的位置是B点。实际上如果把图像1和图像2叠在一起会发现他们除了球的位置不一样之外,其他的部分是一样的,也就是说这两幅相邻的图像有很大一部分是相同的。在编码第2副图像的时候完全可以只编码其与上一副图像的不同部分。如果图像1我们需要完全编码,图像1被称为关键帧(一般称为I帧),而图像2在还原的时候需要参考图像1,所以称为参考帧(一般称为P帧)。如果没有关键帧,那么参考帧是无法还原的。当然在编码的时候,一帧不仅可以参考其上一帧,还可以参考其下一帧(双向预测的帧间压缩),例如一个球从左滚到右,这种运动是可以做预测的。这种当前帧的编码参考其相邻图像的算法就是帧间压缩算法。

传输:经过采集,编码我们现在已经获得了音视频数据帧,但是一般观看视频的一定不是在采集编码的现场,否则就不需要传输了,传输的过程就是将编码后的音视频数据通过网络(互联网,或者有线电视网等,我们只讨论互联网)传输到希望观看的观众那里。数据从一个地方传递到另一个地方这个过程就是传输。传输过程中最重要的当然是流媒体协议了,为什么还需要流媒体协议?在流媒体播放的时候会有一些播放逻辑,例如,播放,暂停,跳转,停止,快进,快退。另外在编码之后的数据从一端传递到另一端,另一端需要将编码之后的数据还原成编码之前的原始数据才能播放。如何还原?必须得知道之前编码是使用什么算法编码的,在还原的时候才能采用相应的解码算法进行还原。那么编码的时候使用的是什么算法,这个也需要从一端通知到另一端,这个信息也是在流媒体传输协议中会有的。除此之外还会有其他的一些逻辑信息,例如视频的帧率,关键帧的间隔(GOP Size)等。总结为一句话,编码过后的音视频数据通过网络从一端传递到另一端,在另一端对数据还原的时候需要一些信息,并且需要支持一些播放场景的逻辑,这些都需要在流媒体协议中进行描述。目前最流行的流媒体协议,Adobe公司的RTMP,RTSP,微软的MMS等。

解码:经过编码压缩的数据必须还原成编码之前的原始数据才能播放显示,这个还原过程就是解码的过程。

输出:输出的过程就是播放出来的过程,与采集的时候一样,实际上这是将采集的原始音视频数据经过模数转换转换成物理信号,视频信号通过显示器显示出来,音频信号通过音箱放出来。

回到顶部

媒体文件封装

我们之前讨论的是媒体的流式播放,其实这个流式主要是指传输是流动的,而且视频帧可以边传输,边解码播放。如果我们希望将播放的内容保存到磁盘上,就必须要有一种文件格式来组织这些数据,以一定的结构来保存这些音视频数据。为什么不直接将网络传输过来的内容直接写到一个文件中保存呢,如果直接将所有传输过来的数据不加任何结构组织直接保存的话,那么在播放的时候如何播放?如何知道这些二进制数据哪些是音频哪些是视频,如何知道每一帧音视频数据在文件中的边界,如何知道该音视频的内容是通过什么编码算法编码的,如何知道播放一帧数据之后再隔多长时间播放下一帧数据,如果像有的电影文件需要多种字幕又如何组织。所以这就必须要有一种文件格式能够组织这些音视频数据并且附加这些播放必须的信息在文件中。这就是媒体文件的封装。现存有很多种媒体文件,有的是某个公司的专利,有的是国际标准,例如MP4,MP3,AVI,RMVB等等等等。所以如果要保存这些流媒体数据到文件中,则必须通过一定的文件封装格式将这些音视频数据保存在具有一定格式的媒体文件中。

回到顶部

传输协议

目前使用的最多的流媒体传输协议当然是RTMP和RTSP了。微软的MMS基本在工作中接触的不多,特别是当前比较火爆的互联网直播。还有一个需要特别提到的HTML5出来之后,很多以前通过flash客户端承载RTMP协议的播放方式被以HLS替换了。但是实时性要求比较高的直播还是需要通过RTMP或者RTSP协议。HLS严格来说,其实我感觉都不能叫流媒体协议,HLS实际上基本可以认为是一个TS文件的播放列表,没有流媒体协议中的那些逻辑功能,播放,暂停,停止。应该说HLS仅仅是特定情况下出来的,主要是针对跨平台的浏览器进行直播。我们所看到的HLS大部分都是通过移动设备,PC机器上的浏览器来播放的。

需要指出的是,在与苹果的HLS争夺市场的过程中,同时出现了多种类似的技术,都是用的HTTP协议,一般我们称为HTTP渐进式下载。例如微软的Live Smooth Streaming 中文名称为直播平滑流,这种技术需要微软IIS7及以上版本的web服务器和Silverlight客户端支持。另外一种是开源的技术好像并不是某个公司出品,叫Http Pseudo-Streaming 中文名是伪流。目前只看到一个基于Apache服务器的插件H264 Streaming Module for Apache,客户端貌似也是使用Flash Player。还有一种叫HTTP Dynamic Streaming 中文称做HTTP动态流,是Adobe公司的技术方案,其服务端需要Flash Media Server支持,客户端则是Flash Player。其实现在的Flash Media Server 也已经支持HLS了。苹果的HLS就不说了现在很多服务器以及开源代码都支持HLS,客户端呢只要支持HTML5的浏览器基本也都支持HLS,现在的HLS已经是主流。最后要说的是新出现的一种技术标准,MPEG-DASH目的为了统一这些技术方案,还在标准化中,如果真的标准化,也有可能取代HLS,毕竟HLS还没有称为正式标准,只是苹果公司提交了个草案。

RTMP协议的发展得益于flash播放器的广泛传播,而RTSP协议则得益于其协议的开源。本系列要讲解的crtmpserver就是基于RTMP协议的开源流媒体服务器,开发语言为C++。等同的产品还有Red5 语言为Java也是开源。另外一个比较有影响力是wowza属于闭源产品。此外RTMPDump项目是用的比较多的RTMP客户端开源项目,其中的librtmp库使用的很广泛,C语言编写。另外OpenRTMFP是基于p2p技术的RTMP。

出处:http://www.cnblogs.com/wangqiguo/p/5965292.html

这篇关于crtmpserver系列(一):流媒体概述的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1025784

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

Java 创建图形用户界面(GUI)入门指南(Swing库 JFrame 类)概述

概述 基本概念 Java Swing 的架构 Java Swing 是一个为 Java 设计的 GUI 工具包,是 JAVA 基础类的一部分,基于 Java AWT 构建,提供了一系列轻量级、可定制的图形用户界面(GUI)组件。 与 AWT 相比,Swing 提供了许多比 AWT 更好的屏幕显示元素,更加灵活和可定制,具有更好的跨平台性能。 组件和容器 Java Swing 提供了许多

【编程底层思考】垃圾收集机制,GC算法,垃圾收集器类型概述

Java的垃圾收集(Garbage Collection,GC)机制是Java语言的一大特色,它负责自动管理内存的回收,释放不再使用的对象所占用的内存。以下是对Java垃圾收集机制的详细介绍: 一、垃圾收集机制概述: 对象存活判断:垃圾收集器定期检查堆内存中的对象,判断哪些对象是“垃圾”,即不再被任何引用链直接或间接引用的对象。内存回收:将判断为垃圾的对象占用的内存进行回收,以便重新使用。

flume系列之:查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0

GPT系列之:GPT-1,GPT-2,GPT-3详细解读

一、GPT1 论文:Improving Language Understanding by Generative Pre-Training 链接:https://cdn.openai.com/research-covers/languageunsupervised/language_understanding_paper.pdf 启发点:生成loss和微调loss同时作用,让下游任务来适应预训

Java 多线程概述

多线程技术概述   1.线程与进程 进程:内存中运行的应用程序,每个进程都拥有一个独立的内存空间。线程:是进程中的一个执行路径,共享一个内存空间,线程之间可以自由切换、并发执行,一个进程最少有一个线程,线程实际数是在进程基础之上的进一步划分,一个进程启动之后,进程之中的若干执行路径又可以划分成若干个线程 2.线程的调度 分时调度:所有线程轮流使用CPU的使用权,平均分配时间抢占式调度