音视频开发之旅(61)- 分析FFmpeg (解码部分的)常用结构体

2024-06-12 06:18

本文主要是介绍音视频开发之旅(61)- 分析FFmpeg (解码部分的)常用结构体,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上一篇我们分析了解封装部分的常用结构体,这篇我们来学习分析解码部分的常用结构体。

目录

  1. 断点分析ffplay解码流程及关键结构体
  2. (解码部分)常用结构体以及之间的关系分析
  3. 资料
  4. 收获

一、断点分析ffplay解码流程及关键结构体

还是从read_thread进行分析

        stream_component_open(is, st_index[AVMEDIA_TYPE_AUDIO]);ret = stream_component_open(is, st_index[AVMEDIA_TYPE_VIDEO]);

stream_component_open 打开指定的流

static int stream_component_open(VideoState *is, int stream_index)AVFormatContext *ic = is->ic;
AVCodecContext *avctx;
const AVCodec *codec;其中的关键函数如下 
avctx = avcodec_alloc_context3(NULL);
int avcodec_parameters_to_context(AVCodecContext *codec,const AVCodecParameters *par)
codec = avcodec_find_decoder(avctx->codec_id);
codec = avcodec_find_decoder_by_name(forced_codec_name);
//打开codec
avcodec_open2(avctx, codec, &opts)//音频解码
decoder_init(&is->auddec, avctx, &is->audioq, is->continue_read_thread)
decoder_start(&is->auddec, audio_thread, "audio_decoder", is)//视频解码
decoder_init(&is->viddec, avctx, &is->videoq, is->continue_read_thread)
decoder_start(&is->viddec, video_thread, "video_decoder", is)avcodec_free_context(&avctx);涉及到结构体:AVFormatContext、AVCodecContext、AVCodec

avcodec_parameters_to_context

int avcodec_parameters_to_context(AVCodecContext *codec,const AVCodecParameters *par)涉及到结构体:AVCodecContext、AVCodecParameters

avcodec_find_decoder通过codecid查找解码器

const AVCodec *avcodec_find_decoder(enum AVCodecID id)涉及到结构体:AVCodec

avcodec_open2

int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options)涉及到结构体:AVCodecContext、AVCodec

解码线程

static int audio_thread(void *arg)
static int video_thread(void *arg)解码线程中以AVFrame作为解压缩后的结构体涉及到结构体:AVFrame

然后分别开启音频和视频的解码线程开始解码。我们可以看到涉及的主要结构体有AVCodecContext 、AVCodecParameters 、AVCodec 、AVFrame

作为解码的输入AVPacket(存储压缩编码数据相关信息的结构体)以及AVStream(每个AVStream存储一个视频/音频流的相关数据;是解封装器分离出来的流对象)我们上一篇已经介绍过,下面我们来主要分析解码相关的几个结构体AVCodecContext 、AVCodec 、AVFrame

二、(解码部分)常用结构体以及之间的关系分析

2.1 常用结构体以及之间的关系(再引用一次,雷神总结梳理的太好了)

FFMPEG中结构体很多。最关键的结构体可以分成以下几类:a)        解协议(http,rtsp,rtmp,mms)AVIOContext,URLProtocol,URLContext主要存储视音频使用的协议的类型以及状态。URLProtocol存储输入视音频使用的封装格式。每种协议都对应一个URLProtocol结构。(注意:FFMPEG中文件也被当做一种协议“file”)b)        解封装(flv,avi,rmvb,mp4)AVFormatContext主要存储视音频封装格式中包含的信息;AVInputFormat存储输入视音频使用的封装格式。每种视音频封装格式都对应一个AVInputFormat 结构。c)        解码(h264,mpeg2,aac,mp3)每个AVStream存储一个视频/音频流的相关数据;每个AVStream对应一个AVCodecContext,存储该视频/音频流使用解码方式的相关数据;每个AVCodecContext中对应一个AVCodec,包含该视频/音频对应的解码器。每种解码器都对应一个AVCodec结构。d) 存数据视频的话,每个结构一般是存一帧;音频可能有好几帧解码前数据:AVPacket解码后数据:AVFrame引用自: https://blog.csdn.net/leixiaohua1020/article/details/11693997

他们之间的关系如下:

FFMPEG中最关键的结构体之间的关系

2.2 AVCodecContext
AVCodecContext是一个描述解码器上下文的数据结构,包含了很多编码器需要的参数信息。
该结构体定义位于libavcodec/AVcodec.h中,主要变量如下:

enum AVMediaType codec_type; // 该枚举定义在libavutil/Avutil.h中,编码的类型,音频、视频、字母等 
const struct AVCodec  *codec;//采用的解码器AVCodec,下面单独分析
enum AVCodecID     codec_id; // 该枚举定义在libavcodec/Codec_id.h中,定了一了所有的编解码器id 
void *priv_data;
struct AVCodecInternal *internal;//内部使用的上下文环境
void *opaque;
int64_t bit_rate;//平均码率
uint8_t *extradata; int extradata_size:针对特定编码器包含的附加信息(例如对于H.264解码器来说,存储SPS,PPS等)AVRational time_base;//时间基,根据该参数,可以把PTS转化为实际的时间(单位为秒s)
int width, height;//仅视频类型用
int gop_size;//关键帧间隔
int max_b_frames;//最大b帧数量
int has_b_frames;//是否有b帧,关系到视频的压缩比率,一般b帧越多压缩比越大
int slice_count;//片的总和,关于slice相关,可以[音视频开发之旅(56) -H264/AVC基本结构](https://mp.weixin.qq.com/s?__biz=MzU5NjkxMjE5Mg==&mid=2247484355&idx=1&sn=538378561c16b640a4ea42bc1f354044&chksm=fe5a32ecc92dbbfa1d6a2e83f22aece727badb99966b6e621322ed8bf6b0cd8f0b2d1c262013&token=778944351&lang=zh_CN#rd)
AVRational sample_aspect_ratio;//采样率/* audio only */
int sample_rate; ///< samples per second 音频采样率
int channels;    ///< number of audio channels 通道数
enum AVSampleFormat sample_fmt;  ///< sample format 采样格式,定义在libavutil/Samplefmt.h中enum AVColorSpace colorspace;//颜色空间,定义在libavutil/Pixfmt.h 
AVRational framerate;//帧率
enum AVPixelFormat sw_pix_fmt;//像素格式,如yuv420pdeng ,定义在libavutil/Pixfmt.h 如果设置不对导致解码器无法正常解码会出现花屏的情况。

这个结构体涉及的变量很多,并且很多是和编码相关,解码用的的其实并不算太多。

2.3 AVCodec
AVCodec是存储编码器信息的结构体。
该结构体定义位于libavcodec/Codec.h中,主要变量如下:

const char *name;//codec的名称
enum AVMediaType type;//codec的类型,AVCodecContext中已经介绍
enum AVCodecID id;//codec的id,AVCodecContext中已经介绍
int capabilities;//编解码的能力,见 AV_CODEC_CAP_
const AVRational *supported_framerates;//支持的帧率
const enum AVPixelFormat *pix_fmts;//支持的像素格式
const int *supported_samplerates; //支持的音频采样率
const enum AVSampleFormat *sample_fmts;//支持的采样格式下面是一些函数指针
int (*init)(struct AVCodecContext *);//初始化
int (*encode2)(struct AVCodecContext *avctx, struct AVPacket *avpkt,const struct AVFrame *frame, int *got_packet_ptr);//编码
int (*decode)(struct AVCodecContext *avctx, void *outdata,int *got_frame_ptr, struct AVPacket *avpkt);
int (*close)(struct AVCodecContext *);//解码
int (*receive_packet)(struct AVCodecContext *avctx, struct AVPacket *avpkt);//接收packet数据
int (*receive_frame)(struct AVCodecContext *avctx, struct AVFrame *frame);//接收frame数据
void (*flush)(struct AVCodecContext *);//刷新缓冲区

2.4 AVFrame
AVFrame一般用于存储原始数据(即非压缩数据,例如对于视频而言YUV、RGB,对于音频而言 PCM),此外还包含了一些相关的信息。比如说,解码的时候存储了宏块类型表,QP表,运动矢量表等数据。编码的时候也存储了相关的数据。
该结构体定义位于libavutil/Frame.h中,主要变量如下:

#define AV_NUM_DATA_POINTERS 8
uint8_t *data[AV_NUM_DATA_POINTERS];//对于planar格式的数据(例如YUV420P),则会分开成data[0],data[1],data[2]...(YUV420P中data[0]存Y,data[1]存U,data[2]存V)
int width, height;//视频宽高
int nb_samples;//每个信道音频采样点的个数
int format;//帧的像素格式
int key_frame;//1 -> keyframe, 0-> not
enum AVPictureType pict_type;//定义在libavutil/AVutil.h中,该帧的类型,I、P、B等
AVRational sample_aspect_ratio;//宽高比(16:9,4:3...)FFMPEG中用AVRational表达分数:
int64_t pts;//显示时间戳
int64_t pkt_dts;//从packet复制的PTS
int quality;
void *opaque;
int coded_picture_number;//编码帧序号
int display_picture_number;//显示帧序号
int8_t *qscale_table;//QP表 QP表指向一块内存,里面存储的是每个宏块的QP值。宏块的标号是从左往右,一行一行的来的。每个宏块对应1个QP。
uint8_t *mbskip_table;//跳过宏块表
int16_t (*motion_val[2])[2];//运动矢量表
int8_t *ref_index[2];//运动估计参考帧列表
int interlaced_frame;//交错帧,表示图像内容是交错的,即是否是隔行扫描
int sample_rate;//音频采样率
uint8_t motion_subsample_log2;//一个宏块中的运动矢量采样个数,取log2的.1个运动矢量所能代表的画面大小(用宽或者高表示,单位是像素),注意,这里取了log2。

三、资料

  1. 《Android音视频开发》-第八章
  2. FFMPEG中最关键的结构体之间的关系
  3. FFMPEG结构体分析:AVCodecContext
  4. FFMPEG结构体分析:AVCodec
  5. FFMPEG结构体分析:AVFrame
  6. FFMPEG 实现 YUV,RGB各种图像原始数据之间的转换(swscale)

四、收获

通过本篇的学习实践,收获如下:

  1. 断点分析解码的流程加深理解
  2. 重温ffmpeg重要结构体之间的关系
  3. 了解了解码相关的结构体 AVCodecContext、AVCodec、AVFrame. 其中设置到很多编码协议相关知识,需要系统性的在进行学习(X265)

感谢你的阅读
下一篇我们学习知识fflay关键结构体的最后一篇,解协议相关结构体,欢迎关注公众号“音视频开发之旅”,一起学习成长。
欢迎交流

 

这篇关于音视频开发之旅(61)- 分析FFmpeg (解码部分的)常用结构体的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1053410

相关文章

Java 字符数组转字符串的常用方法

《Java字符数组转字符串的常用方法》文章总结了在Java中将字符数组转换为字符串的几种常用方法,包括使用String构造函数、String.valueOf()方法、StringBuilder以及A... 目录1. 使用String构造函数1.1 基本转换方法1.2 注意事项2. 使用String.valu

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”,帮你按时关掉电脑,而且全程不需要你多做

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j

VUE动态绑定class类的三种常用方式及适用场景详解

《VUE动态绑定class类的三种常用方式及适用场景详解》文章介绍了在实际开发中动态绑定class的三种常见情况及其解决方案,包括根据不同的返回值渲染不同的class样式、给模块添加基础样式以及根据设... 目录前言1.动态选择class样式(对象添加:情景一)2.动态添加一个class样式(字符串添加:情

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维

Redis连接失败:客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败:客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re

基于Qt开发一个简单的OFD阅读器

《基于Qt开发一个简单的OFD阅读器》这篇文章主要为大家详细介绍了如何使用Qt框架开发一个功能强大且性能优异的OFD阅读器,文中的示例代码讲解详细,有需要的小伙伴可以参考一下... 目录摘要引言一、OFD文件格式解析二、文档结构解析三、页面渲染四、用户交互五、性能优化六、示例代码七、未来发展方向八、结论摘要

Java中switch-case结构的使用方法举例详解

《Java中switch-case结构的使用方法举例详解》:本文主要介绍Java中switch-case结构使用的相关资料,switch-case结构是Java中处理多个分支条件的一种有效方式,它... 目录前言一、switch-case结构的基本语法二、使用示例三、注意事项四、总结前言对于Java初学者

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实