音视频开发17 FFmpeg 音频解码- 将 aac 解码成 pcm

2024-06-03 20:36

本文主要是介绍音视频开发17 FFmpeg 音频解码- 将 aac 解码成 pcm,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这一节,接 音视频开发12 FFmpeg 解复用详情分析,前面我们已经对一个 MP4文件,或者 FLV文件,或者TS文件进行了 解复用,解出来的 视频是H264,音频是AAC,那么接下来就要对H264和AAC进行处理,这一节 主要是对 AAC进行处理。

⾳频解码过程

FFmpeg流程解码过程

关键函数

    //变量定义//1 解码器const AVCodec *avcodec = nullptr;//2 解析器上下文AVCodecParserContext * avcodecParserContext = nullptr;//3 解码器上下文AVCodecContext * avCodecContext = nullptr;//4. AVPacket 的作用是将 aac 数据借助 AVCodecParserContext 和自定义 data存放在这里面AVPacket * avpacket = nullptr;//5. AVFrame ,AVFrame的作用是将 解码后的数据 存放到这里面。AVFrame * avFrame = nullptr;//7. 输入文件和输出文件QFile inFile(inFilename);QFile outFile(out.pcmfilename);

//第一步:获取解码器 @return A decoder if one was found, NULL otherwise.const AVCodec *  avcodec = avcodec_find_decoder_by_name("libfdk_aac");或者enum AVCodecID audio_codec_id = AV_CODEC_ID_AAC;const AVCodec *  avcodec = avcodec_find_decoder(audio_codec_id);  if(!avcodec){ret = -3;qDebug()<<"func aacDecode error because avcodec_find_decoder_by_name return null"<<" ret = " << ret << " parameter = " << "libfdk_aac";goto end;
}

    //第二步:初始化解析器上下文,   如果成功需要在最后  av_parser_close(parser);,此代码从文档中无法看出,自己是从doc/example 中看到的AVCodecParserContext *avcodecParserContext = av_parser_init(avcodec->id);
if(!avcodecParserContext){ret = -4;qDebug()<<"func aacDecode error because av_parser_init return null"<<" ret = " << ret << " avcodec->id = " << avcodec->id;goto end;
}

    //第三步:通过解码器创建 解码器上下文  should be freed with avcodec_free_context().AVCodecContext * avCodecContext = avcodec_alloc_context3(avcodec);if(!avCodecContext){ret = -5;qDebug()<<"func aacDecode error because avcodec_alloc_context3 return null"<<" ret = " << ret << " avcodec->id = " << avcodec->id;goto end;}

//第四步: 创建AVPacket,AVPacket 的作用是存放:将 aac的数据通过 解析器(avcodecParserContext)和自定义data,AVPacket * avpacket = av_packet_alloc();if(!avpacket){ret = -6;qDebug()<<"func aacDecode error because av_packet_alloc return null"<<" ret = " << ret;goto end;}

//第五步:// 创建 AVFrame ,AVFrame的作用是将 解码后的数据 存放到这里面。AVFrame *avFrame =  av_frame_alloc();if(!avFrame){ret = -7;qDebug()<<"func aacDecode error because avFrame return null"<<" ret = " << ret;goto end;}

// 第六步 :打开解码器,将解码器和解码器上下文关联ret = avcodec_open2(avCodecContext,avcodec,nullptr);if(ret<0){ERROR_BUF(ret);qDebug()<<"func aacDecode error because avcodec_open2 return"<<" ret = "<< ret << "  errbuf = " << errbuf;goto end;}

//第七步,打开文件// 打开文件if (!inFile.open(QFile::ReadOnly)) {qDebug() << "file open error:" << inFilename;goto end;}if (!outFile.open(QFile::WriteOnly)) {qDebug() << "file open error:" << out.pcmfilename;goto end;}

//第八步,从文件中读取数据while ((inLen = inFile.read(inDataArray, IN_DATA_SIZE)) > 0) {inData = inDataArray;//第九步,读取数据后,将数据通过解析器解析,内容存储到avpacket->data中,大小存储到avpacket->size中while (inLen > 0) {// 经过解析器解析// 内部调用的核心逻辑是:ff_aac_ac3_parse// 经过解析器上下文处理//参数1:解析器上下文//参数2:解码器上下文//参数3:传出data数据,从参数5中读取到的数据经过 解析器 和 解码器 处理后,存放到这里//参数4:传出data数据大小,从参数5中读取到的数据经过 解析器 和 解码器 处理后的大小,存放到这里//参数5:要读取的数据地址//参数6:要读取的数据地址大小//参数7: 是否pts数据//参数7: *@param pts输入演示时间戳。在这里输入AV_NOPTS_VALUE//参数8: *@param dts输入解码时间戳。在这里输入AV_NOPTS_VALUE//参数9: *@param pos输入流中的字节位置。在这里输入 0// 从第5个参数buf中,拿数据,最多拿 buf_size个数据,实际上要拿很多次。//返回值:为每次读取的数据大小。//        int av_parser_parse2(AVCodecParserContext *s,//                             AVCodecContext *avctx,//                             uint8_t **poutbuf,//                             int *poutbuf_size,//                             const uint8_t *buf,//                             int buf_size,//                             int64_t pts,//                             int64_t dts,//                             int64_t pos);ret = av_parser_parse2(avcodecParserContext,avCodecContext,&avpacket->data,&avpacket->size,(uint8_t *) inData,inLen,AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);if (ret < 0) {ERROR_BUF(ret);qDebug() << "av_parser_parse2 error" << errbuf;goto end;}// 跳过已经解析过的数据inData += ret;// 减去已经解析过的数据大小inLen -= ret;// 第十步,将avpacvket中的数据,经过AVCodecContext 解码,存储到AVFrame中,然后将AVFrame中的数据存储到本地中if (avpacket->size > 0 && decode(avCodecContext, avpacket, avFrame, outFile) < 0) {goto end;}}}

//第十步:将通过解析器解析后的avpacket,发送给AVCodecContext解码,解码后的数据存储在AVFrame中,然后将AVFrame中的数据存储到本地文件中。
static int decode(AVCodecContext *ctx,AVPacket *pkt,AVFrame *frame,QFile &outFile) {// 发送压缩数据到解码器int ret = avcodec_send_packet(ctx, pkt);int decodenum = 0;int parsenum = 0;decodenum++;qDebug()<<"decodenum = " << decodenum << " ret = " << ret <<endl;if (ret < 0) {ERROR_BUF(ret);qDebug() << "avcodec_send_packet error" << errbuf;return ret;}while (true) {// 获取解码后的数据parsenum++;qDebug()<<"parsenum = " << parsenum <<endl;ret = avcodec_receive_frame(ctx, frame);AVMediaType avmediatype = ctx->codec_type;qDebug()<<"avmediatype = "<< avmediatype << endl;//当前是音频还是视频,还是字幕。从结果来看,从解码器解码解码后的结果来看,这个值都是1,代表的是AVMEDIA_TYPE_AUDIO//那么这里有个问题了,为什么都是AVMEDIA_TYPE_AUDIO,但是在解码的时候,有一部分的nbchannels,sample_rate,nb_samples打印不出来呢?加了parsenum的log发现,当一次avpacket发送过来的时候,avframe读取了两次,第一次的时候AAc 是有头部的,第二次是没有头的,因此第二次读取不出来qDebug()<<"ctx->codec->name = "<< ctx->codec->name << endl;//解码器的名称,结果是aacqDebug()<<"ctx->codec->id = "<< ctx->codec->id << endl;// 解码器的id,是唯一的,86018,对应16进制15002,对应code是:AV_CODEC_ID_AACqDebug()<<"ctx->codec_id = "<< ctx->codec_id << endl;//解码器的id,是唯一的,86018,对应16进制15002,对应code是:AV_CODEC_ID_AACqDebug()<<"frame->pkt_size = "<< frame->pkt_size << endl;//AVSampleFormat avsampleformat = (AVSampleFormat)frame->format;int nbchannels = frame->ch_layout.nb_channels;int sample_rate = frame->sample_rate;int nb_samples = frame->nb_samples;qDebug()<<"avsampleformat = "<< avsampleformat << endl; //采样格式,使用 AAC 解码器,这个值是8,对应AV_SAMPLE_FMT_S32P;;;使用 FDK_AAC 解码器,这个值是1,对应的AV_SAMPLE_FMT_S16qDebug()<<"nbchannels = "<< nbchannels << endl;//声道数qDebug()<<"sample_rate = "<< sample_rate << endl;//采样率。qDebug()<<"nb_samples = "<< nb_samples << endl;//这个值的含义是number of audio samples (per channel) described by this frame---当前frame 每个声道含有的audio samples,如果是AAC,在满帧的情况下,这个值是1024.int data_size = av_get_bytes_per_sample(ctx->sample_fmt);qDebug()<<"data_size = "<< data_size << endl;//返回每个样本的字节数,使用 AAC 解码器,这个值是4if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {return 0;} else if (ret < 0) {ERROR_BUF(ret);qDebug() << "avcodec_receive_frame error" << errbuf;return ret;}// 第十一步:将解码后的数据写入文件,注意的是:这里要怎么存储决定于解码器是什么解码器。if(av_sample_fmt_is_planar(avsampleformat)){//如果是planner格式。则需要如下的方法存储。那么在avframe中的排列是LLLLLLLLRRRRRRRR,我们最后要存储成LRLRLRLRLRLRLRLR,//frame->nb_samples的值表示每个声道有多少个audio samples(number of audio samples (per channel) described by this frame)//frame->ch_layout.nb_channels的值表示的有多少个声道。//对于每一个audio sample,先将每一个audio sample的第一个声道存储。for (int i = 0; i < frame->nb_samples; i++)//frame->nb_samples,表示的是每一个声道拥有的 audio samples{for (int ch = 0; ch < frame->ch_layout.nb_channels; ch++)  // 交错的方式写入, 大部分float的格式输出//fwrite(frame->data[ch] + data_size*i, 1, data_size, outfile);//要将LLLLRRRR,变成LRLRLRLR。这块要仔细看,从LLLLRRRR变成LRLRLRLR的角度去看outFile.write((const char *)frame->data[ch]+data_size*i,data_size);
//                ffplay -ar 48000 -ac 2 -f f32le out_new_aac.pcm
//            ffmpeg -codecs|findstr 32}}else{//如果不是planner格式,音频的格式在第一个平面,因此存储在第一个平面就好了outFile.write((char *) frame->data[0], frame->linesize[0]);
//            ffplay -ar 44100 -ac 2 -f s16le out_new_lib_fdk_aac.pcm
//            ffmpeg -codecs|findstr s16}}
}

//第十二步:刷新缓冲
// flush解码器//    pkt->data = NULL;//    pkt->size = 0;decode(avCodecContext, nullptr, avFrame, outFile);// 设置输出参数out.pcmSampleRate = avCodecContext->sample_rate;out.pcmSampleFmt = avCodecContext->sample_fmt;out.pcmchLayout = avCodecContext->channel_layout;end:inFile.close();outFile.close();av_frame_free(&avFrame);av_packet_free(&avpacket);av_parser_close(avcodecParserContext);avcodec_free_context(&avCodecContext);qDebug()<< "aacDecode end "<<endl;return ret;

/* //第八步,从文件中读取数据这段code可以转换。*  注意:从171行代码--255 行代码被替换,为 行--- 行* 这是因为最开始的时候,* 代码是仿照解析另一种格式的代码实现的,当解析的剩余代码小于 REFILL_THRESH 时,会将剩余的数据重新弄到 数组 开始位置。以防止放不下。* 但是实际上ffmepg在解码aac的时候已经想到了如何处理,因此不用使用REFILL_THRESH*//** start//解码// 读取数据,从infile(aac)文件中读取数据,读取到inData里面。大小为 IN_DATA_SIZE//注意,从inFile(aac)文件里面先读取大小为 IN_DATA_SIZE 的数据 到 inData 中。inLen = inFile.read(inData, IN_DATA_SIZE);//将读取到inData 的数据进行处理。存放在avpacket中.//注意这里,主要 inLen大于0,就会不停的循环。知道 inData中的数据被读取完毕,这里看起来怪怪的,一次性读完不行吗?//实际上,inLen大小的数据,会被解析很多次,每次的大小都很小于inLen。//看到这里,while(inLen>0){// 经过解析器上下文处理//参数1:解析器上下文//参数2:解码器上下文//参数3:传出data数据,从参数5中读取到的数据经过 解析器 和 解码器 处理后,存放到这里//参数4:传出data数据大小,从参数5中读取到的数据经过 解析器 和 解码器 处理后的大小,存放到这里//参数5:要读取的数据地址//参数6:要读取的数据地址大小//参数7: 是否pts数据//参数7: *@param pts输入演示时间戳。在这里输入AV_NOPTS_VALUE//参数8: *@param dts输入解码时间戳。在这里输入AV_NOPTS_VALUE//参数9: *@param pos输入流中的字节位置。在这里输入 0// 从第5个参数buf中,拿数据,最多拿 buf_size个数据,实际上要拿很多次。//返回值:为每次读取的数据大小。//        int av_parser_parse2(AVCodecParserContext *s,//                             AVCodecContext *avctx,//                             uint8_t **poutbuf,//                             int *poutbuf_size,//                             const uint8_t *buf,//                             int buf_size,//                             int64_t pts,//                             int64_t dts,//                             int64_t pos);ret = av_parser_parse2(avcodecParserContext,avCodecContext,&avpacket->data,&avpacket->size,(uint8_t *) inData,inLen,AV_NOPTS_VALUE,AV_NOPTS_VALUE,0);if (ret < 0) {ERROR_BUF(ret);qDebug() << "av_parser_parse2 error" << errbuf;goto end;}// 跳过已经解析过的数据inData += ret;// 减去已经解析过的数据大小inLen -= ret;// 解码if (avpacket->size > 0 && decode(avCodecContext, avpacket, avFrame, outFile) < 0) {goto end;}// 如果inData数据不够了,需要再次从acc文件中读取。那么多大就算不够了,这个也是参考ffmpegif (inLen < REFILL_THRESH && !inEnd) {// 剩余数据移动到缓冲区前memmove(inDataArray, inData, inLen);inData = inDataArray;// 跨过已有数据,读取文件数据int len = inFile.read(inData + inLen, IN_DATA_SIZE - inLen);if (len > 0) {inLen += len;} else {inEnd = 1;}}}end*/

这篇关于音视频开发17 FFmpeg 音频解码- 将 aac 解码成 pcm的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1028042

相关文章

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前,需要制作不同类型格式的根文件系统         在产品研发阶段,我们还是需要使用nfs的方式挂载根文件系统         优点:可以直接在上位机中修改文件系统内容,延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

Vue3项目开发——新闻发布管理系统(六)

文章目录 八、首页设计开发1、页面设计2、登录访问拦截实现3、用户基本信息显示①封装用户基本信息获取接口②用户基本信息存储③用户基本信息调用④用户基本信息动态渲染 4、退出功能实现①注册点击事件②添加退出功能③数据清理 5、代码下载 八、首页设计开发 登录成功后,系统就进入了首页。接下来,也就进行首页的开发了。 1、页面设计 系统页面主要分为三部分,左侧为系统的菜单栏,右侧

v0.dev快速开发

探索v0.dev:次世代开发者之利器 今之技艺日新月异,开发者之工具亦随之进步不辍。v0.dev者,新兴之开发者利器也,迅速引起众多开发者之瞩目。本文将引汝探究v0.dev之基本功能与优势,助汝速速上手,提升开发之效率。 何谓v0.dev? v0.dev者,现代化之开发者工具也,旨在简化并加速软件开发之过程。其集多种功能于一体,助开发者高效编写、测试及部署代码。无论汝为前端开发者、后端开发者

pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu 安装编译工具链下载sdk 和example编译example 安装编译工具链 sudo apt install cmake gcc-arm-none-eabi libnewlib-arm-none-eabi libstdc++-arm-none-eabi-newlib 注意cmake的版本,需要在3.17 以上 下载sdk 和ex