[FFmpeg学习]windows环境sdl播放音频试验

2024-06-17 06:28

本文主要是介绍[FFmpeg学习]windows环境sdl播放音频试验,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

参考资料:

FFmpeg和SDL2播放mp4_sdl 播放mp4 声音-CSDN博客

SimplePlayer/SimplePlayer.c at master · David1840/SimplePlayer · GitHub

在前面的学习中,通过获得的AVFrame进行了播放画面,

[FFmpeg学习]初级的SDL播放mp4测试-CSDN博客

播放音频原理类似,也是获取AVFrame的信息,


extern "C" {
#include <libavutil/log.h>
#include <libavformat/avformat.h>
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libswresample/swresample.h>
}
// Simplest FFmpeg Sync Player.cpp : 定义控制台应用程序的入口点。
//#include <stdio.h>
#include <SDL_types.h>
#include "SDL.h"static Uint8* audio_chunk;
static Uint32 audio_len;
static Uint8* audio_pos;#define MAX_AUDIO_FRAME_SIZE 19200//音频设备需要更多数据的时候会调用该回调函数
void read_audio_data(void* udata, Uint8* stream, int len) {fprintf(stderr, "stream addr:%p, audio_len:%d, len:%d\n",stream,audio_len,len);//首先使用SDL_memset()将stream中的数据设置为0SDL_memset(stream, 0, len);if (audio_len == 0)return;len = (len > audio_len ? audio_len : len);SDL_MixAudio(stream, audio_pos, len, SDL_MIX_MAXVOLUME);audio_pos += len;audio_len -= len;
}#undef main
int main(int argc, char* argv[]) {const char* file = "test.mp4";AVFormatContext* pFormatCtx = NULL; //for opening multi-media fileint i, audioStream = -1;AVCodecParameters* pCodecParameters = NULL; //codec contextAVCodecContext* pCodecCtx = NULL;const AVCodec* pCodec = NULL; // the codecerAVFrame* pFrame = NULL;AVPacket* packet;uint8_t* out_buffer;int64_t in_channel_layout;struct SwrContext* au_convert_ctx;if (avformat_open_input(&pFormatCtx, file, NULL, NULL) != 0) {SDL_LogError(SDL_LOG_CATEGORY_APPLICATION, "Failed to open video file!");return -1; // Couldn't open file}audioStream = av_find_best_stream(pFormatCtx, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);if (audioStream == -1) {SDL_LogError(SDL_LOG_CATEGORY_APPLICATION, "Din't find a video stream!");return -1;// Didn't find a video stream}// Get a pointer to the codec context for the video streampCodecParameters = pFormatCtx->streams[audioStream]->codecpar;// Find the decoder for the video streampCodec = avcodec_find_decoder(pCodecParameters->codec_id);if (pCodec == NULL) {SDL_LogError(SDL_LOG_CATEGORY_APPLICATION, "Unsupported codec!\n");return -1; // Codec not found}// Copy contextpCodecCtx = avcodec_alloc_context3(pCodec);if (avcodec_parameters_to_context(pCodecCtx, pCodecParameters) != 0) {SDL_LogError(SDL_LOG_CATEGORY_APPLICATION, "Couldn't copy codec context");return -1;// Error copying codec context}// Open codecif (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {SDL_LogError(SDL_LOG_CATEGORY_APPLICATION, "Failed to open decoder!\n");return -1; // Could not open codec}packet = (AVPacket*)av_malloc(sizeof(AVPacket));av_init_packet(packet);pFrame = av_frame_alloc();uint64_t out_channel_layout = AV_CH_LAYOUT_STEREO;//输出声道int out_nb_samples = 1024;enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;//输出格式S16int out_sample_rate = 44100;int out_channels = av_get_channel_layout_nb_channels(out_channel_layout);int out_buffer_size = av_samples_get_buffer_size(NULL, out_channels, out_nb_samples, out_sample_fmt, 1);out_buffer = (uint8_t*)av_malloc(MAX_AUDIO_FRAME_SIZE * 2);//Initif (SDL_Init(SDL_INIT_AUDIO | SDL_INIT_TIMER)) {printf("Could not initialize SDL - %s\n", SDL_GetError());return -1;}SDL_AudioSpec spec;spec.freq = out_sample_rate;spec.format = AUDIO_S16SYS;spec.channels = out_channels;spec.silence = 0;spec.samples = out_nb_samples;spec.callback = read_audio_data;spec.userdata = pCodecCtx;if (SDL_OpenAudio(&spec, NULL) < 0) {printf("can't open audio.\n");return -1;}in_channel_layout = av_get_default_channel_layout(pCodecCtx->channels);printf("in_channel_layout --->%d\n", in_channel_layout);au_convert_ctx = swr_alloc();au_convert_ctx = swr_alloc_set_opts(au_convert_ctx, out_channel_layout, out_sample_fmt, out_sample_rate,in_channel_layout, pCodecCtx->sample_fmt, pCodecCtx->sample_rate, 0, NULL);swr_init(au_convert_ctx);SDL_PauseAudio(0);while (av_read_frame(pFormatCtx, packet) >= 0) {if (packet->stream_index == audioStream) {avcodec_send_packet(pCodecCtx, packet);while (avcodec_receive_frame(pCodecCtx, pFrame) == 0) {swr_convert(au_convert_ctx, &out_buffer, MAX_AUDIO_FRAME_SIZE, (const uint8_t**)pFrame->data,pFrame->nb_samples); // 转换音频}audio_chunk = (Uint8*)out_buffer;audio_len = out_buffer_size;audio_pos = audio_chunk;while (audio_len > 0) {SDL_Delay(1);//延迟播放}}av_packet_unref(packet);}swr_free(&au_convert_ctx);SDL_Quit();return 0;
}

在windows上,如果有方法废弃的错误,

错误    C4996    'AVCodecContext::channels': 被声明为已否决    

可以设置SDL检查为否,来解决

代码流程里,需要注意一下audio_callback是怎么回调的,

audio_callback函数是由SDL音频系统在需要更多音频数据以填充音频缓冲区时自动调用的。当SDL音频系统开始播放音频时,它会周期性地调用音频回调函数以获取新的音频数据。音频回调函数的调用频率取决于音频采样率和缓冲区大小。

main函数中,我们初始化SDL音频系统并设置了音频回调函数audio_callback

if (SDL_Init(SDL_INIT_AUDIO) < 0) {fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError());exit(1);
}// 设置音频回调函数
SDL_AudioSpec desired;
desired.freq = audioCodecContext->sample_rate;
desired.format = AUDIO_S16SYS; // 使用16位有符号小端字节序样本
desired.channels = audioCodecContext->channels;
desired.samples = 4096; // 音频缓冲区大小,可以根据需要调整
desired.callback = audio_callback;
desired.userdata = NULL;// 打开音频设备
SDL_AudioDeviceID deviceId = SDL_OpenAudioDevice(NULL, 0, &desired, NULL, SDL_AUDIO_ALLOW_ANY_CHANGE);
if (deviceId <= 0) {fprintf(stderr, "Failed to open audio device: %s\n", SDL_GetError());return -1;
}// 开始播放音频
SDL_PauseAudioDevice(deviceId, 0);

当我们调用SDL_OpenAudioDevice函数时,SDL音频系统会注册音频回调函数audio_callback。当我们调用SDL_PauseAudioDevice(deviceId, 0)开始播放音频时,SDL音频系统会根据音频参数(如采样率、通道数和缓冲区大小)定期调用audio_callback函数。

audio_callback函数中,我们需要根据音频缓冲区的需求提供音频数据。这通常涉及从文件或实时流中解码音频数据,并将其传递给SDL音频系统。在我们的示例中,我们从全局变量audio_buffer中读取音频数据,该变量由swr_convert函数填充。

总之,audio_callback函数是由SDL音频系统在需要更多音频数据以填充音频缓冲区时自动触发的。您无需手动调用此函数,SDL音频系统会负责调用它。只需确保在回调函数中提供正确的音频数据即可。

这篇关于[FFmpeg学习]windows环境sdl播放音频试验的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1068695

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本,包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装