音视频开发17 FFmpeg 音频解码- 将 aac 解码成 pcm

2024-06-03 20:36
文章标签 音频 开发 ffmpeg 解码 17 pcm 音视频 aac

本文主要是介绍音视频开发17 FFmpeg 音频解码- 将 aac 解码成 pcm，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这一节，接 音视频开发12 FFmpeg 解复用详情分析，前面我们已经对一个 MP4文件，或者 FLV文件，或者TS文件进行了 解复用，解出来的 视频是H264,音频是AAC，那么接下来就要对H264和AAC进行处理，这一节 主要是对 AAC进行处理。

⾳频解码过程

FFmpeg流程解码过程

关键函数

    //变量定义//1 解码器const AVCodec *avcodec = nullptr;//2 解析器上下文AVCodecParserContext * avcodecParserContext = nullptr;//3 解码器上下文AVCodecContext * avCodecContext = nullptr;//4. AVPacket 的作用是将 aac 数据借助 AVCodecParserContext 和自定义 data存放在这里面AVPacket * avpacket = nullptr;//5. AVFrame ，AVFrame的作用是将 解码后的数据 存放到这里面。AVFrame * avFrame = nullptr;//7. 输入文件和输出文件QFile inFile(inFilename);QFile outFile(out.pcmfilename);

//第一步：获取解码器 @return A decoder if one was found, NULL otherwise.const AVCodec *  avcodec = avcodec_find_decoder_by_name("libfdk_aac");或者enum AVCodecID audio_codec_id = AV_CODEC_ID_AAC;const AVCodec *  avcodec = avcodec_find_decoder(audio_codec_id);  if(!avcodec){ret = -3;qDebug()<<"func aacDecode error because avcodec_find_decoder_by_name return null"<<" ret = " << ret << " parameter = " << "libfdk_aac";goto end;
}

    //第二步：初始化解析器上下文,   如果成功需要在最后  av_parser_close(parser);，此代码从文档中无法看出，自己是从doc/example 中看到的AVCodecParserContext *avcodecParserContext = av_parser_init(avcodec->id);
if(!avcodecParserContext){ret = -4;qDebug()<<"func aacDecode error because av_parser_init return null"<<" ret = " << ret << " avcodec->id = " << avcodec->id;goto end;
}

    //第三步：通过解码器创建 解码器上下文  should be freed with avcodec_free_context().AVCodecContext * avCodecContext = avcodec_alloc_context3(avcodec);if(!avCodecContext){ret = -5;qDebug()<<"func aacDecode error because avcodec_alloc_context3 return null"<<" ret = " << ret << " avcodec->id = " << avcodec->id;goto end;}

//第四步： 创建AVPacket,AVPacket 的作用是存放：将 aac的数据通过 解析器（avcodecParserContext）和自定义data，AVPacket * avpacket = av_packet_alloc();if(!avpacket){ret = -6;qDebug()<<"func aacDecode error because av_packet_alloc return null"<<" ret = " << ret;goto end;}

//第五步：// 创建 AVFrame ，AVFrame的作用是将 解码后的数据 存放到这里面。AVFrame *avFrame =  av_frame_alloc();if(!avFrame){ret = -7;qDebug()<<"func aacDecode error because avFrame return null"<<" ret = " << ret;goto end;}

// 第六步 ：打开解码器，将解码器和解码器上下文关联ret = avcodec_open2(avCodecContext,avcodec,nullptr);if(ret<0){ERROR_BUF(ret);qDebug()<<"func aacDecode error because avcodec_open2 return"<<" ret = "<< ret << "  errbuf = " << errbuf;goto end;}

//第七步，打开文件// 打开文件if (!inFile.open(QFile::ReadOnly)) {qDebug() << "file open error:" << inFilename;goto end;}if (!outFile.open(QFile::WriteOnly)) {qDebug() << "file open error:" << out.pcmfilename;goto end;}

//第八步，从文件中读取数据while ((inLen = inFile.read(inDataArray, IN_DATA_SIZE)) > 0) {inData = inDataArray;//第九步，读取数据后，将数据通过解析器解析，内容存储到avpacket->data中，大小存储到avpacket->size中while (inLen > 0) {// 经过解析器解析// 内部调用的核心逻辑是：ff_aac_ac3_parse// 经过解析器上下文处理//参数1：解析器上下文//参数2：解码器上下文//参数3：传出data数据，从参数5中读取到的数据经过 解析器 和 解码器 处理后，存放到这里//参数4：传出data数据大小，从参数5中读取到的数据经过 解析器 和 解码器 处理后的大小，存放到这里//参数5：要读取的数据地址//参数6：要读取的数据地址大小//参数7: 是否pts数据//参数7: *@param pts输入演示时间戳。在这里输入AV_NOPTS_VALUE//参数8: *@param dts输入解码时间戳。在这里输入AV_NOPTS_VALUE//参数9: *@param pos输入流中的字节位置。在这里输入 0// 从第5个参数buf中，拿数据，最多拿 buf_size个数据，实际上要拿很多次。//返回值：为每次读取的数据大小。//        int av_parser_parse2(AVCodecParserContext *s,//                             AVCodecContext *avctx,//                             uint8_t **poutbuf,//                             int *poutbuf_size,//                             const uint8_t *buf,//                             int buf_size,//                             int64_t pts,//                             int64_t dts,//                             int64_t pos);ret = av_parser_parse2(avcodecParserContext,avCodecContext,&avpacket->data,&avpacket->size,(uint8_t *) inData,inLen,AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);if (ret < 0) {ERROR_BUF(ret);qDebug() << "av_parser_parse2 error" << errbuf;goto end;}// 跳过已经解析过的数据inData += ret;// 减去已经解析过的数据大小inLen -= ret;// 第十步，将avpacvket中的数据，经过AVCodecContext 解码，存储到AVFrame中，然后将AVFrame中的数据存储到本地中if (avpacket->size > 0 && decode(avCodecContext, avpacket, avFrame, outFile) < 0) {goto end;}}}

//第十步：将通过解析器解析后的avpacket，发送给AVCodecContext解码，解码后的数据存储在AVFrame中，然后将AVFrame中的数据存储到本地文件中。
static int decode(AVCodecContext *ctx,AVPacket *pkt,AVFrame *frame,QFile &outFile) {// 发送压缩数据到解码器int ret = avcodec_send_packet(ctx, pkt);int decodenum = 0;int parsenum = 0;decodenum++;qDebug()<<"decodenum = " << decodenum << " ret = " << ret <<endl;if (ret < 0) {ERROR_BUF(ret);qDebug() << "avcodec_send_packet error" << errbuf;return ret;}while (true) {// 获取解码后的数据parsenum++;qDebug()<<"parsenum = " << parsenum <<endl;ret = avcodec_receive_frame(ctx, frame);AVMediaType avmediatype = ctx->codec_type;qDebug()<<"avmediatype = "<< avmediatype << endl;//当前是音频还是视频，还是字幕。从结果来看，从解码器解码解码后的结果来看，这个值都是1，代表的是AVMEDIA_TYPE_AUDIO//那么这里有个问题了，为什么都是AVMEDIA_TYPE_AUDIO，但是在解码的时候，有一部分的nbchannels，sample_rate，nb_samples打印不出来呢？加了parsenum的log发现，当一次avpacket发送过来的时候，avframe读取了两次，第一次的时候AAc 是有头部的，第二次是没有头的，因此第二次读取不出来qDebug()<<"ctx->codec->name = "<< ctx->codec->name << endl;//解码器的名称，结果是aacqDebug()<<"ctx->codec->id = "<< ctx->codec->id << endl;// 解码器的id，是唯一的，86018，对应16进制15002，对应code是：AV_CODEC_ID_AACqDebug()<<"ctx->codec_id = "<< ctx->codec_id << endl;//解码器的id，是唯一的，86018，对应16进制15002，对应code是：AV_CODEC_ID_AACqDebug()<<"frame->pkt_size = "<< frame->pkt_size << endl;//AVSampleFormat avsampleformat = (AVSampleFormat)frame->format;int nbchannels = frame->ch_layout.nb_channels;int sample_rate = frame->sample_rate;int nb_samples = frame->nb_samples;qDebug()<<"avsampleformat = "<< avsampleformat << endl; //采样格式，使用 AAC 解码器，这个值是8，对应AV_SAMPLE_FMT_S32P；；；使用 FDK_AAC 解码器，这个值是1，对应的AV_SAMPLE_FMT_S16qDebug()<<"nbchannels = "<< nbchannels << endl;//声道数qDebug()<<"sample_rate = "<< sample_rate << endl;//采样率。qDebug()<<"nb_samples = "<< nb_samples << endl;//这个值的含义是number of audio samples (per channel) described by this frame---当前frame 每个声道含有的audio samples，如果是AAC，在满帧的情况下，这个值是1024.int data_size = av_get_bytes_per_sample(ctx->sample_fmt);qDebug()<<"data_size = "<< data_size << endl;//返回每个样本的字节数，使用 AAC 解码器，这个值是4if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {return 0;} else if (ret < 0) {ERROR_BUF(ret);qDebug() << "avcodec_receive_frame error" << errbuf;return ret;}// 第十一步：将解码后的数据写入文件，注意的是：这里要怎么存储决定于解码器是什么解码器。if(av_sample_fmt_is_planar(avsampleformat)){//如果是planner格式。则需要如下的方法存储。那么在avframe中的排列是LLLLLLLLRRRRRRRR,我们最后要存储成LRLRLRLRLRLRLRLR,//frame->nb_samples的值表示每个声道有多少个audio samples（number of audio samples (per channel) described by this frame）//frame->ch_layout.nb_channels的值表示的有多少个声道。//对于每一个audio sample，先将每一个audio sample的第一个声道存储。for (int i = 0; i < frame->nb_samples; i++)//frame->nb_samples,表示的是每一个声道拥有的 audio samples{for (int ch = 0; ch < frame->ch_layout.nb_channels; ch++)  // 交错的方式写入, 大部分float的格式输出//fwrite(frame->data[ch] + data_size*i, 1, data_size, outfile);//要将LLLLRRRR，变成LRLRLRLR。这块要仔细看，从LLLLRRRR变成LRLRLRLR的角度去看outFile.write((const char *)frame->data[ch]+data_size*i,data_size);
//                ffplay -ar 48000 -ac 2 -f f32le out_new_aac.pcm
//            ffmpeg -codecs|findstr 32}}else{//如果不是planner格式，音频的格式在第一个平面，因此存储在第一个平面就好了outFile.write((char *) frame->data[0], frame->linesize[0]);
//            ffplay -ar 44100 -ac 2 -f s16le out_new_lib_fdk_aac.pcm
//            ffmpeg -codecs|findstr s16}}
}


//第十二步：刷新缓冲
// flush解码器//    pkt->data = NULL;//    pkt->size = 0;decode(avCodecContext, nullptr, avFrame, outFile);// 设置输出参数out.pcmSampleRate = avCodecContext->sample_rate;out.pcmSampleFmt = avCodecContext->sample_fmt;out.pcmchLayout = avCodecContext->channel_layout;end:inFile.close();outFile.close();av_frame_free(&avFrame);av_packet_free(&avpacket);av_parser_close(avcodecParserContext);avcodec_free_context(&avCodecContext);qDebug()<< "aacDecode end "<<endl;return ret;

/* //第八步，从文件中读取数据这段code可以转换。*  注意：从171行代码--255 行代码被替换，为 行--- 行* 这是因为最开始的时候，* 代码是仿照解析另一种格式的代码实现的，当解析的剩余代码小于 REFILL_THRESH 时，会将剩余的数据重新弄到 数组 开始位置。以防止放不下。* 但是实际上ffmepg在解码aac的时候已经想到了如何处理，因此不用使用REFILL_THRESH*//** start//解码// 读取数据，从infile（aac）文件中读取数据，读取到inData里面。大小为 IN_DATA_SIZE//注意，从inFile（aac）文件里面先读取大小为 IN_DATA_SIZE 的数据 到 inData 中。inLen = inFile.read(inData, IN_DATA_SIZE);//将读取到inData 的数据进行处理。存放在avpacket中.//注意这里，主要 inLen大于0，就会不停的循环。知道 inData中的数据被读取完毕，这里看起来怪怪的，一次性读完不行吗？//实际上，inLen大小的数据，会被解析很多次，每次的大小都很小于inLen。//看到这里，while(inLen>0){// 经过解析器上下文处理//参数1：解析器上下文//参数2：解码器上下文//参数3：传出data数据，从参数5中读取到的数据经过 解析器 和 解码器 处理后，存放到这里//参数4：传出data数据大小，从参数5中读取到的数据经过 解析器 和 解码器 处理后的大小，存放到这里//参数5：要读取的数据地址//参数6：要读取的数据地址大小//参数7: 是否pts数据//参数7: *@param pts输入演示时间戳。在这里输入AV_NOPTS_VALUE//参数8: *@param dts输入解码时间戳。在这里输入AV_NOPTS_VALUE//参数9: *@param pos输入流中的字节位置。在这里输入 0// 从第5个参数buf中，拿数据，最多拿 buf_size个数据，实际上要拿很多次。//返回值：为每次读取的数据大小。//        int av_parser_parse2(AVCodecParserContext *s,//                             AVCodecContext *avctx,//                             uint8_t **poutbuf,//                             int *poutbuf_size,//                             const uint8_t *buf,//                             int buf_size,//                             int64_t pts,//                             int64_t dts,//                             int64_t pos);ret = av_parser_parse2(avcodecParserContext,avCodecContext,&avpacket->data,&avpacket->size,(uint8_t *) inData,inLen,AV_NOPTS_VALUE,AV_NOPTS_VALUE,0);if (ret < 0) {ERROR_BUF(ret);qDebug() << "av_parser_parse2 error" << errbuf;goto end;}// 跳过已经解析过的数据inData += ret;// 减去已经解析过的数据大小inLen -= ret;// 解码if (avpacket->size > 0 && decode(avCodecContext, avpacket, avFrame, outFile) < 0) {goto end;}// 如果inData数据不够了，需要再次从acc文件中读取。那么多大就算不够了，这个也是参考ffmpegif (inLen < REFILL_THRESH && !inEnd) {// 剩余数据移动到缓冲区前memmove(inDataArray, inData, inLen);inData = inDataArray;// 跨过已有数据，读取文件数据int len = inFile.read(inData + inLen, IN_DATA_SIZE - inLen);if (len > 0) {inLen += len;} else {inEnd = 1;}}}end*/

这篇关于音视频开发17 FFmpeg 音频解码- 将 aac 解码成 pcm的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/1028042。

相关文章

Python通过模块化开发优化代码的技巧分享

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版：拆分成模块让模块更强大：使用 __init__.py你一定会遇到的问题模www.
阅读更多...
Spring Security基于数据库的ABAC属性权限模型实战开发教程

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》：本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA
阅读更多...
使用Python开发一个简单的本地图片服务器

使用Python开发一个简单的本地图片服务器

《使用Python开发一个简单的本地图片服务器》本文介绍了如何结合wxPython构建的图形用户界面GUI和Python内建的Web服务器功能,在本地网络中搭建一个私人的,即开即用的网页相册,文中的示... 目录项目目标核心技术栈代码深度解析完整代码工作流程主要功能与优势潜在改进与思考运行结果总结你是否曾经
阅读更多...
Python使用自带的base64库进行base64编码和解码

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意
阅读更多...
Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战：从入门到进阶优化1. MyBatis
阅读更多...
Python基于wxPython和FFmpeg开发一个视频标签工具

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优
阅读更多...
利用Python开发Markdown表格结构转换为Excel工具

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark
阅读更多...
使用Python实现文本转语音(TTS)并播放音频

使用Python实现文本转语音(TTS)并播放音频

《使用Python实现文本转语音(TTS)并播放音频》在开发涉及语音交互或需要语音提示的应用时,文本转语音（TTS）技术是一个非常实用的工具,下面我们来看看如何使用gTTS和playsound库将文本... 目录什么是 gTTS 和 playsound安装依赖库实现步骤 1. 导入库2. 定义文本和语言 3
阅读更多...
利用Go语言开发文件操作工具轻松处理所有文件

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具？核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件
阅读更多...
基于Python开发批量提取Excel图片的小工具

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求，就是批量读取当前目录下所有文件夹里的Excel文件，去获取出Excel文件中的图片，并
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2