未来5G编码器之海思小于100毫秒低延迟直播方案评测

本文主要是介绍未来5G编码器之海思小于100毫秒低延迟直播方案评测，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文摘自：https://blog.csdn.net/weixin_45326556/article/details/95058054
很多人对于直播的带来的延时还是挺在意的，下面我分享的这篇文章能给大家带来个技术上的指引，好了，坐下来慢慢看：

背景

最近接触了许多客户，许多是做安全方面产品的客户，有些还涉及到jun队后勤的等等，他们普遍对采集延迟，编码延迟，传输延迟等都有很大关注。例如有个客户是做反狙击探测的，那可是与生命相关的，容不得试错的（PS:我无法判断海思Hi3531D/Hi3521D系列产品是否适合做这种高实时性的产品，当然做个评估或者算法验证完全是可以的）。

测量方法

精准测试延迟的方法要用专业仪器来测量，或者在程序中记录精准时间来判断，这些方法过于专业，也不方便展示，本文采用的测量方法是目测法，这个方法不大精准，但最容易展示。
在这里插入图片描述
主板参考链接：https://item.taobao.com/item.htm?spm=a2oq0.12575281.0.0.15d11debUtUQr8&ft=t&id=630502728823
如上图所，通常直播是经过采集，编码，网络输出，网络接收，解码，显示输出，经过这几大环节后，用户才能看到直播的画面，其总延迟是T1-T3；采集延迟为T1-T2。直播延迟还跟网络协议有关，其中UDP，RTMP和RTSP延迟相对较小，HTTP延迟偏大，延迟最大的是HLS，这种技术是切片技术，很适合做对延迟要求不高的网络直播（例如非互动的单向直播，IPTV就是这类），该技术最大的好处就是能在网络带宽波动很大的环境下也能保持流畅（其实就是因为缓冲够大嘛）。

测试结果

为了抓拍到T1,T2,T3，我们使用单反相机快速连拍功能，分别对UDP，RTSP和RTMP协议的测试进行抓拍，然后对抓拍到图片序列进行统计分析。抓拍到的图片序列已经上传到百度网盘，需要的可以从我们百度网盘上下载：
链接：https://pan.baidu.com/s/1ySnVeRHsuvzvtywh8xDz1g
提取码：qx9x
在这里插入图片描述
如上图所示，做为信号源的笔记本显示的时间码是19:35:55.217，而编码板采集预览显示的时间码也是19:35:55.217，说明采集延迟为T1-T2=217-217=0，忽略不计；解码板通过网络接收来自编码板的网络流，解码后通过HDMI输出，其显示的时间码是19:35:55.174，那说明延迟为T1-T3=217-174=43，也就是延迟为43毫秒。为了方便用户查看和对比，我们把拍下来的照片的时间码做了记录，并用EXCEL表做了计算，参见下表。
在这里插入图片描述
从上表可以看出，UDP(TS封装）的平均延迟为71.1毫秒，由于我们的TS封装是使用了FFMPEG来进行封装的，所以封装延迟较大，如果采用RAW H264/H265 UDP，估计延迟会大大降低；RTSP OVER UDP平均延迟为83豪秒，还真搞不懂这个延迟什么会这么大；RTMP的延迟仅为52.6毫秒，真是有点意外，而且每个采样的延迟几乎都是在43毫秒左右，很均匀，不像TS-UDP和RTSP OVER UDP每个采样测出的延迟数据波动有点大。

源程序

编码端源程序

完整的工程参见：https://gitee.com/LinkPi/3531D/tree/master/LowLatencyENC

//main.cpp
#include <QCoreApplication>
#include "Link.h"#define RTSP
//#define UDP
//#define RTMPint main(int argc, char *argv[])
{QCoreApplication a(argc, argv);Link::init();LinkObject *vi=Link::create("InputVi");QVariantMap dataVi;dataVi["interface"]="HDMI-A";vi->start(dataVi);LinkObject *vo=Link::create("OutputVo");QVariantMap dataVo;dataVo["type"]="hdmi";dataVo["lowLatency"]=true;vo->start(dataVo);vi->linkV(vo);LinkObject *encV=Link::create("EncodeV");QVariantMap dataEncV;dataEncV["codec"]="h264";dataEncV["framerate"]=60;dataEncV["width"]=1920;dataEncV["height"]=1080;dataEncV["bitrate"]=8000;dataEncV["lowLatency"]=true;encV->start(dataEncV);LinkObject *mux=Link::create("Mux");QVariantMap dataRtsp;
#ifdef RTSPdataRtsp["path"]="mem://test";dataRtsp["format"]="rtsp";
#elif UDPdataRtsp["path"]="mem://test";dataRtsp["format"]="mpegts";
#elif RTMPdataRtsp["path"]="rtmp://127.0.0.1/live/test";dataRtsp["format"]="flv";
#endifdataRtsp["mute"]=true;mux->start(dataRtsp);#ifdef RTSPLinkObject *rtspServer=Link::create("Rtsp");rtspServer->start();vi->linkV(encV)->linkV(mux)->linkV(rtspServer);
#elif UDPLinkObject *udp=Link::create("TSUdp");QVariantMap dataUDP;dataUDP["ip"]="192.168.1.77";dataUDP["port"]=1234;udp->start(dataUDP);vi->linkV(encV)->linkV(mux)->linkV(udp);
#elif RTMPvi->linkV(encV)->linkV(mux);
#endifreturn a.exec();
｝

解码端源程序

完整的工程参见：https://gitee.com/LinkPi/3531D/tree/master/LowLatencyDEC

//main.cpp
#include <QCoreApplication>
#include "Link.h"#define RTSP
//#define UDP
//#define RTMPint main(int argc, char *argv[])
{QCoreApplication a(argc, argv);Link::init();LinkObject *vo=Link::create("OutputVo");QVariantMap dataVo;dataVo["type"]="hdmi";vo->start(dataVo);LinkObject *net=Link::create("InputNet");QVariantMap dataNet;
#ifdef RTSPdataNet["path"]="rtsp://192.168.1.76/test";
#elif UDPdataNet["path"]="udp://@:1234";
#elif RTMPdataNet["path"]="rtmp://192.168.1.76/live/test";
#endifdataNet["protocol"]="udp";dataNet["buffer"]=false;dataNet["sync"]=false;net->start(dataNet);LinkObject *dec=Link::create("DecodeV");QVariantMap dataDec;dataDec["lowLatency"]=true;dec->start(dataDec);net->linkV(dec)->linkV(vo);return a.exec();
}