live555学习笔记17－H264VideoStreamParser详解 .

2024-02-22 04:18
文章标签 学习 详解 笔记 17 live555 h264videostreamparser

本文主要是介绍live555学习笔记17－H264VideoStreamParser详解 .，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

十七：H264VideoStreamParser详解

很多人要做实时H264 RTP传输，那么如何充分利用live555来做呢？
大家可以看到现有的H264VideoFileServerMediaSubsession中，sink使用了H264VideoRTPSink，source使用了H264VideoStreamFramer，然而这个连接是很复杂的，在这两个节点间要插入了很多其它的节点，其实际情况是这样的：ByteStreamFileSource-->H264VideoStreamParser-->H264VideoStreamFramer-->H264FUAFragmenter-->H264VideoRTPSink．哇！真的这么复杂吗？一点没错！
当然你可以不用理它们的来龙去脉，你只需自己实现一个source，能采集图像并进行h264编码的source（当然你可以用CPU也可以用DSP进行编码），然后用它替代ByteStreamFileSource，就成了，比如你这个source可以叫做H264ByteStreamSource．当然为了提高效率，采集和编码部分应放在另一个线程中执行．

然而，我还是很想了解H264VideoStreamParser到底是什么，Parser到底有什么用？它做了什么？它与H264VideoStreamFramer是如何配合的？它们之间有内存copy发生吗？

先设想一个问题：
H264VideoStreamFramer是什么角色？跟据H264VideoFileServerMediaSubsession的代码，H264VideoStreamFramer是真正代表source的，Sink所面对的Source就是它．但是它又连接了一个ByteStreamFileSource．look一下这部分代码：

[cpp]  view plain copy
  1. FramedSource* H264VideoFileServerMediaSubsession::  
  2. createNewStreamSource(unsigned /*clientSessionId*/,  
  3.         unsigned& estBitrate)  
  4. {  
  5.     estBitrate = 500; // kbps, estimate   
  6.   
  7.     // Create the video source:   
  8.     ByteStreamFileSource* fileSource = ByteStreamFileSource::createNew(envir(),  
  9.             fFileName);  
  10.     if (fileSource == NULL)  
  11.         return NULL;  
  12.     fFileSize = fileSource->fileSize();  
  13.   
  14.     // Create a framer for the Video Elementary Stream:   
  15.     return H264VideoStreamFramer::createNew(envir(), fileSource);  
  16. }  
[cpp]  view plain copy
  1. FramedSource* H264VideoFileServerMediaSubsession::  
  2. createNewStreamSource(unsigned /*clientSessionId*/,  
  3.         unsigned& estBitrate)  
  4. {  
  5.     estBitrate = 500; // kbps, estimate  
  6.   
  7.     // Create the video source:  
  8.     ByteStreamFileSource* fileSource = ByteStreamFileSource::createNew(envir(),  
  9.             fFileName);  
  10.     if (fileSource == NULL)  
  11.         return NULL;  
  12.     fFileSize = fileSource->fileSize();  
  13.   
  14.     // Create a framer for the Video Elementary Stream:  
  15.     return H264VideoStreamFramer::createNew(envir(), fileSource);  
  16. }  

是吧？我没有忽悠吧？
ByteStreamFileSource是从文件取得数据的，它不管是到底什么媒体格式，它只是读文件．所以很明显H264VideoStreamFramer利用ByteStreamFileSource从文件取得数据，然后H264VideoStreamFramer再对数据进行分析．比如找出每个NALU，然后传给Sink．但是H264VideoStreamFramer没有自己去分析，而是利用了Parser，所以那一串中就多了一个H264VideoStreamParser．
H264VideoStreamParser拥有两个source指针，一个是FramedSource* fInputSource,另一个是H264VideoStreamFramer* fUsingSource．可以看出，H264VideoStreamParser把fInputSource和fUsingSource串了起来，那么fInputSource就是ByteStreamFileSource．

我们想像一下H264VideoStreamParser的所作所为：H264VideoStreamFramer把自己的缓冲（其实是sink的）传给H264VideoStreamParser,每当H264VideoStreamFramer要获取一个NALU时，就跟H264VideoStreamParser要，H264VideoStreamParser就从ByteStreamFileSource读一坨数据，然后进行分析，如果取得了一个NALU，就传给H264VideoStreamFramer.唉，H264VideoStreamFramer真是个不劳而获的坏家伙！

看一下实际的流程：

[cpp]  view plain copy
  1. //Sink调用Source(H264VideoStreamFramer)的GetNextFrame()获取数据，   
  2. //H264VideoStreamFramer从MPEGVideoStreamFramer派生，所以下面的函数会被调用：   
  3. void MPEGVideoStreamFramer::doGetNextFrame()  
  4. {  
  5.     fParser->registerReadInterest(fTo, fMaxSize);  
  6.     continueReadProcessing();  
  7. }  
  8.   
  9. void MPEGVideoStreamFramer::continueReadProcessing(void* clientData,  
  10.         unsigned char* /*ptr*/,  
  11.         unsigned /*size*/,  
  12.         struct timeval /*presentationTime*/)  
  13. {  
  14.     MPEGVideoStreamFramer* framer = (MPEGVideoStreamFramer*) clientData;  
  15.     framer->continueReadProcessing();  
  16. }  
[cpp]  view plain copy
  1. //Sink调用Source(H264VideoStreamFramer)的GetNextFrame()获取数据，  
  2. //H264VideoStreamFramer从MPEGVideoStreamFramer派生，所以下面的函数会被调用：  
  3. void MPEGVideoStreamFramer::doGetNextFrame()  
  4. {  
  5.     fParser->registerReadInterest(fTo, fMaxSize);  
  6.     continueReadProcessing();  
  7. }  
  8.   
  9. void MPEGVideoStreamFramer::continueReadProcessing(void* clientData,  
  10.         unsigned char* /*ptr*/,  
  11.         unsigned /*size*/,  
  12.         struct timeval /*presentationTime*/)  
  13. {  
  14.     MPEGVideoStreamFramer* framer = (MPEGVideoStreamFramer*) clientData;  
  15.     framer->continueReadProcessing();  
  16. }  
上两个是过渡，最终在这里执行:

[cpp]  view plain copy
  1. void MPEGVideoStreamFramer::continueReadProcessing()  
  2. {  
  3.     //调用Parser的parser()分析出一个NALU.如果得到了一个NALU,则   
  4.     //用afterGetting(this)返回给Sink.   
  5.     unsigned acquiredFrameSize = fParser->parse();  
  6.     if (acquiredFrameSize > 0)  
  7.     {  
  8.         // We were able to acquire a frame from the input.   
  9.         // It has already been copied to the reader's space.   
  10.         fFrameSize = acquiredFrameSize;  
  11.         fNumTruncatedBytes = fParser->numTruncatedBytes();  
  12.   
  13.         // "fPresentationTime" should have already been computed.   
  14.   
  15.         // Compute "fDurationInMicroseconds" now:   
  16.         fDurationInMicroseconds =  
  17.                 (fFrameRate == 0.0 || ((int) fPictureCount) < 0) ?  
  18.                         0 : (unsigned) ((fPictureCount * 1000000) / fFrameRate);  
  19.         fPictureCount = 0;  
  20.   
  21.         // Call our own 'after getting' function.  Because we're not a 'leaf'   
  22.         // source, we can call this directly, without risking infinite recursion.   
  23.         afterGetting(this);  
  24.     }  
  25.     else  
  26.     {  
  27.         //执行到此处并不代表parser()中没有取得数据!!   
  28.         // We were unable to parse a complete frame from the input, because:   
  29.         // - we had to read more data from the source stream, or   
  30.         // - the source stream has ended.   
  31.     }  
  32. }  
[cpp]  view plain copy
  1. void MPEGVideoStreamFramer::continueReadProcessing()  
  2. {  
  3.     //调用Parser的parser()分析出一个NALU.如果得到了一个NALU,则  
  4.     //用afterGetting(this)返回给Sink.  
  5.     unsigned acquiredFrameSize = fParser->parse();  
  6.     if (acquiredFrameSize > 0)  
  7.     {  
  8.         // We were able to acquire a frame from the input.  
  9.         // It has already been copied to the reader's space.  
  10.         fFrameSize = acquiredFrameSize;  
  11.         fNumTruncatedBytes = fParser->numTruncatedBytes();  
  12.   
  13.         // "fPresentationTime" should have already been computed.  
  14.   
  15.         // Compute "fDurationInMicroseconds" now:  
  16.         fDurationInMicroseconds =  
  17.                 (fFrameRate == 0.0 || ((int) fPictureCount) < 0) ?  
  18.                         0 : (unsigned) ((fPictureCount * 1000000) / fFrameRate);  
  19.         fPictureCount = 0;  
  20.   
  21.         // Call our own 'after getting' function.  Because we're not a 'leaf'  
  22.         // source, we can call this directly, without risking infinite recursion.  
  23.         afterGetting(this);  
  24.     }  
  25.     else  
  26.     {  
  27.         //执行到此处并不代表parser()中没有取得数据!!  
  28.         // We were unable to parse a complete frame from the input, because:  
  29.         // - we had to read more data from the source stream, or  
  30.         // - the source stream has ended.  
  31.     }  
  32. }  

上面这个函数的else{}中的注释大家注意了没有?这里关连到一个很难搞懂的现象,后面会解释之.这里先看一下parser()函数是怎样取得数据并进行分析的.
parser()中读新数据是由那些test4Bytes(),skipBytes()之类的函数引起的,它们都最终调用了ensureValidBytes1():

[cpp]  view plain copy
  1. void StreamParser::ensureValidBytes1(unsigned numBytesNeeded)  
  2. {  
  3.     // We need to read some more bytes from the input source.   
  4.     // First, clarify how much data to ask for:   
  5.     unsigned maxInputFrameSize = fInputSource->maxFrameSize();  
  6.     if (maxInputFrameSize > numBytesNeeded)  
  7.         numBytesNeeded = maxInputFrameSize;  
  8.   
  9.     // First, check whether these new bytes would overflow the current   
  10.     // bank.  If so, start using a new bank now.   
  11.     if (fCurParserIndex + numBytesNeeded > BANK_SIZE)  
  12.     {  
  13.         // Swap banks, but save any still-needed bytes from the old bank:   
  14.         unsigned numBytesToSave = fTotNumValidBytes - fSavedParserIndex;  
  15.         unsigned char const* from = &curBank()[fSavedParserIndex];  
  16.   
  17.         fCurBankNum = (fCurBankNum + 1) % 2;  
  18.         fCurBank = fBank[fCurBankNum];  
  19.         memmove(curBank(), from, numBytesToSave);  
  20.         fCurParserIndex = fCurParserIndex - fSavedParserIndex;  
  21.         fSavedParserIndex = 0;  
  22.         fTotNumValidBytes = numBytesToSave;  
  23.     }  
  24.   
  25.     // ASSERT: fCurParserIndex + numBytesNeeded > fTotNumValidBytes   
  26.     //      && fCurParserIndex + numBytesNeeded <= BANK_SIZE   
  27.     if (fCurParserIndex + numBytesNeeded > BANK_SIZE)  
  28.     {  
  29.         // If this happens, it means that we have too much saved parser state.   
  30.         // To fix this, increase BANK_SIZE as appropriate.   
  31.         fInputSource->envir() << "StreamParser internal error ("  
  32.                 << fCurParserIndex << "+ " << numBytesNeeded << " > "  
  33.                 << BANK_SIZE << ")\n";  
  34.         fInputSource->envir().internalError();  
  35.     }  
  36.   
  37.     // Try to read as many new bytes as will fit in the current bank:   
  38.     unsigned maxNumBytesToRead = BANK_SIZE - fTotNumValidBytes;  
  39.     fInputSource->getNextFrame(&curBank()[fTotNumValidBytes], maxNumBytesToRead,  
  40.             afterGettingBytes, this, onInputClosure, this);  
  41.   
  42.     throw NO_MORE_BUFFERED_INPUT;  
  43. }  
[cpp]  view plain copy
  1. void StreamParser::ensureValidBytes1(unsigned numBytesNeeded)  
  2. {  
  3.     // We need to read some more bytes from the input source.  
  4.     // First, clarify how much data to ask for:  
  5.     unsigned maxInputFrameSize = fInputSource->maxFrameSize();  
  6.     if (maxInputFrameSize > numBytesNeeded)  
  7.         numBytesNeeded = maxInputFrameSize;  
  8.   
  9.     // First, check whether these new bytes would overflow the current  
  10.     // bank.  If so, start using a new bank now.  
  11.     if (fCurParserIndex + numBytesNeeded > BANK_SIZE)  
  12.     {  
  13.         // Swap banks, but save any still-needed bytes from the old bank:  
  14.         unsigned numBytesToSave = fTotNumValidBytes - fSavedParserIndex;  
  15.         unsigned char const* from = &curBank()[fSavedParserIndex];  
  16.   
  17.         fCurBankNum = (fCurBankNum + 1) % 2;  
  18.         fCurBank = fBank[fCurBankNum];  
  19.         memmove(curBank(), from, numBytesToSave);  
  20.         fCurParserIndex = fCurParserIndex - fSavedParserIndex;  
  21.         fSavedParserIndex = 0;  
  22.         fTotNumValidBytes = numBytesToSave;  
  23.     }  
  24.   
  25.     // ASSERT: fCurParserIndex + numBytesNeeded > fTotNumValidBytes  
  26.     //      && fCurParserIndex + numBytesNeeded <= BANK_SIZE  
  27.     if (fCurParserIndex + numBytesNeeded > BANK_SIZE)  
  28.     {  
  29.         // If this happens, it means that we have too much saved parser state.  
  30.         // To fix this, increase BANK_SIZE as appropriate.  
  31.         fInputSource->envir() << "StreamParser internal error ("  
  32.                 << fCurParserIndex << "+ " << numBytesNeeded << " > "  
  33.                 << BANK_SIZE << ")\n";  
  34.         fInputSource->envir().internalError();  
  35.     }  
  36.   
  37.     // Try to read as many new bytes as will fit in the current bank:  
  38.     unsigned maxNumBytesToRead = BANK_SIZE - fTotNumValidBytes;  
  39.     fInputSource->getNextFrame(&curBank()[fTotNumValidBytes], maxNumBytesToRead,  
  40.             afterGettingBytes, this, onInputClosure, this);  
  41.   
  42.     throw NO_MORE_BUFFERED_INPUT;  
  43. }  
可以看到一个奇怪的现象:这个函数没有返回值,但最终抛出了一个异常,而且只要执行这个函数,就会抛出这个异常.
还是先分析一下这个函数做了什么吧:
首先判断自己的缓冲区是否能容纳所需的数据量,如果实在不能,也只能提示一下,最后从ByteStreamFileSource获取一坨数据.curBack()返回的就是Parser自己的缓冲.而afterGettingBytes这个回调函数是H264VideoStreamFramer传入的,所以获取数据之后会执行H264VideoStreamFramer的函数,中转几下后,最终执行的就是上面的void MPEGVideoStreamFramer::continueReadProcessing().哇,看到了一个问题:Parser()中嵌套执行Parser()!而第二次执行Parser()完成后,返回到ensureValidBytes1(),然后由于抛出异常而退出,退出到哪里了呢?退回到上次调用的Parser()中了,因为Parser()中写了try{}catch{}.catch{}中的代码如下:

[cpp]  view plain copy
  1.     catch (int /*e*/)  
  2.     {  
  3. #ifdef DEBUG   
  4.         fprintf(stderr, "H264VideoStreamParser::parse() EXCEPTION (This is normal behavior - *not* an error)\n");  
  5. #endif   
  6.         return 0; // the parsing got interrupted   
  7.     }  
[cpp]  view plain copy
  1.     catch (int /*e*/)  
  2.     {  
  3. #ifdef DEBUG  
  4.         fprintf(stderr, "H264VideoStreamParser::parse() EXCEPTION (This is normal behavior - *not* an error)\n");  
  5. #endif  
  6.         return 0; // the parsing got interrupted  
  7.     }  
可见parser()此时返回0,parser()返回0就执行到MPEGVideoStreamFramer::continueReadProcessing()中的else{}部分了,回去看看吧,其实啥也没做.也就是说,第一次调用parser()时,它只是从ByteStreamFileSource获取数据,那么这个parser()获取数据后什么也不做,但实际上对NALU分析和处里在这次Parser()的调用中已经完成了,不是在它本身完成的,而是在它引起了parser()的嵌套调用中完成.好迷糊,理顺一下过程就知道了:
sink要获取数据,执行到MPEGVideoStreamFramer::continueReadProcessing(),MPEGVideoStreamFramer::continueReadProcessing调用parser(),parser()要使用数据时发现没有,于是ensureValidBytes1()被调用来从ByteStreamFileSource获取数据,取得数据后MPEGVideoStreamFramer::afterGettingBytes()被调用,并中转到MPEGVideoStreamFramer::continueReadProcessing(),MPEGVideoStreamFramer::continueReadProcessing()被嵌套调用!,MPEGVideoStreamFramer::continueReadProcessing()中又会调用parser(),此时parser()要使用数据时发现有数据了,所以就进行分析,分析出一个NALU后,返回到MPEGVideoStreamFramer::continueReadProcessing(),MPEGVideoStreamFramer::continueReadProcessing()会调用afterGetting(this)把数据返回给sink.sink处理完数据后返回到MPEGVideoStreamFramer::continueReadProcessing(),MPEGVideoStreamFramer::continueReadProcessing()再返回到ensureValidBytes1(),ensureValidBytes1()抛出异常返回到第一次被调用的parser()的catch{}中,parser()返回到第一次调用的MPEGVideoStreamFramer::continueReadProcessing()中,MPEGVideoStreamFramer::continueReadProcessing()发现parser()没有取得NALU,于是啥也不做,返回到sink中,sink会继续通过source->getNextFrame()->MPEGVideoStreamFramer::continueReadProcessing()...这样再次获取NALU.

好曲折离奇的故事!不过终于讲完了!

可以看到,parser中是有自己的缓冲的,而且其大小是固定的:
#define BANK_SIZE 150000
你自己写Source时,每次输出的是一帧数据,包含多个NALU,所以你只要确定你的一帧不超过150000字节,你就可以放心的往fTo中copy,如果你的帧太大,就改这个宏吧.

在此公布一下 live555 QQ群号 :  224847583 .欢迎研究流媒体的人类加入,在其中可以讨论流媒体相关的任何东西,live555,ffmpeg,vlc,rtmp等等....

这篇关于live555学习笔记17－H264VideoStreamParser详解 .的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/734096。

相关文章

Mysql 中的多表连接和连接类型详解

Mysql 中的多表连接和连接类型详解

《Mysql中的多表连接和连接类型详解》这篇文章详细介绍了MySQL中的多表连接及其各种类型,包括内连接、左连接、右连接、全外连接、自连接和交叉连接,通过这些连接方式,可以将分散在不同表中的相关数据... 目录什么是多表连接？1. 内连接（INNER JOIN）2. 左连接（LEFT JOIN 或 LEFT
阅读更多...
Java中switch-case结构的使用方法举例详解

Java中switch-case结构的使用方法举例详解

《Java中switch-case结构的使用方法举例详解》：本文主要介绍Java中switch-case结构使用的相关资料,switch-case结构是Java中处理多个分支条件的一种有效方式,它... 目录前言一、switch-case结构的基本语法二、使用示例三、注意事项四、总结前言对于Java初学者
阅读更多...
Linux内核之内核裁剪详解

Linux内核之内核裁剪详解

《Linux内核之内核裁剪详解》Linux内核裁剪是通过移除不必要的功能和模块,调整配置参数来优化内核,以满足特定需求,裁剪的方法包括使用配置选项、模块化设计和优化配置参数,图形裁剪工具如makeme... 目录简介一、 裁剪的原因二、裁剪的方法三、图形裁剪工具四、操作说明五、make menuconfig
阅读更多...
详解Java中的敏感信息处理

详解Java中的敏感信息处理

《详解Java中的敏感信息处理》平时开发中常常会遇到像用户的手机号、姓名、身份证等敏感信息需要处理,这篇文章主要为大家整理了一些常用的方法,希望对大家有所帮助... 目录前后端传输AES 对称加密RSA 非对称加密混合加密数据库加密MD5 + Salt/SHA + SaltAES 加密平时开发中遇到像用户的
阅读更多...
Springboot使用RabbitMQ实现关闭超时订单(示例详解)

Springboot使用RabbitMQ实现关闭超时订单(示例详解)

《Springboot使用RabbitMQ实现关闭超时订单(示例详解)》介绍了如何在SpringBoot项目中使用RabbitMQ实现订单的延时处理和超时关闭,通过配置RabbitMQ的交换机、队列和... 目录1.maven中引入rabbitmq的依赖：2.application.yml中进行rabbit
阅读更多...
C语言线程池的常见实现方式详解

C语言线程池的常见实现方式详解

《C语言线程池的常见实现方式详解》本文介绍了如何使用C语言实现一个基本的线程池,线程池的实现包括工作线程、任务队列、任务调度、线程池的初始化、任务添加、销毁等步骤,感兴趣的朋友跟随小编一起看看吧... 目录1. 线程池的基本结构2. 线程池的实现步骤3. 线程池的核心数据结构4. 线程池的详细实现4.1 初
阅读更多...
Python绘制土地利用和土地覆盖类型图示例详解

Python绘制土地利用和土地覆盖类型图示例详解

《Python绘制土地利用和土地覆盖类型图示例详解》本文介绍了如何使用Python绘制土地利用和土地覆盖类型图,并提供了详细的代码示例,通过安装所需的库,准备地理数据,使用geopandas和matp... 目录一、所需库的安装二、数据准备三、绘制土地利用和土地覆盖类型图四、代码解释五、其他可视化形式1.
阅读更多...
SpringBoot使用Apache POI库读取Excel文件的操作详解

SpringBoot使用Apache POI库读取Excel文件的操作详解

《SpringBoot使用ApachePOI库读取Excel文件的操作详解》在日常开发中,我们经常需要处理Excel文件中的数据,无论是从数据库导入数据、处理数据报表,还是批量生成数据,都可能会遇到... 目录项目背景依赖导入读取Excel模板的实现代码实现代码解析ExcelDemoInfoDTO 数据传输
阅读更多...
如何用Java结合经纬度位置计算目标点的日出日落时间详解

如何用Java结合经纬度位置计算目标点的日出日落时间详解

《如何用Java结合经纬度位置计算目标点的日出日落时间详解》这篇文章主详细讲解了如何基于目标点的经纬度计算日出日落时间,提供了在线API和Java库两种计算方法,并通过实际案例展示了其应用,需要的朋友... 目录前言一、应用示例1、天安门升旗时间2、湖南省日出日落信息二、Java日出日落计算1、在线API2
阅读更多...
使用Spring Cache时设置缓存键的注意事项详解

使用Spring Cache时设置缓存键的注意事项详解

《使用SpringCache时设置缓存键的注意事项详解》在现代的Web应用中,缓存是提高系统性能和响应速度的重要手段之一,Spring框架提供了强大的缓存支持,通过​​@Cacheable​​、​​... 目录引言1. 缓存键的基本概念2. 默认缓存键生成器3. 自定义缓存键3.1 使用​​@Cacheab
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2