Android 13 - Media框架(6)- NuPlayer

2023-10-30 04:10
文章标签 android 框架 media 13 nuplayer

本文主要是介绍Android 13 - Media框架(6)- NuPlayer,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上一节我们通过 NuPlayerDriver 了解了 NuPlayer 的使用方式,这一节我们一起来学习 NuPlayer 的部分实现细节。
ps:之前用 NuPlayer 播放本地视频很多都无法播放,所以觉得它不太行,这两天重新阅读发现它的功能其实很全面,无法播放都是Extractor的锅,NuPlayer 有很多细节值得学习!

1、NuPlayer结构

请添加图片描述

我将 NuPlayer 拆成4部分来学习,分别是:

  • Source:数据源,包括 IO 和 demux 两部分;
  • Decoder:编解码组件,使用 MediaCodec 实现;
  • Render:用于解码后的数据渲染与 Avsync;
  • Controller:以上三个部分的控制器,这里指的是 NuPlayer 自身;

2、NuPlayer控制接口的实现

2.1、setDataSourceAsync

setDataSource 是用来根据传进来的 url 创建对应类型 Source 的,这里找一个最常用的版本:

void NuPlayer::setDataSourceAsync(const sp<IMediaHTTPService> &httpService,const char *url,const KeyedVector<String8, String8> *headers) {// 1. 异步消息处理sp<AMessage> msg = new AMessage(kWhatSetDataSource, this);size_t len = strlen(url);// 2. 用于Source 给 NuPlayer 的 Callbacksp<AMessage> notify = new AMessage(kWhatSourceNotify, this);sp<Source> source;// 3. 根据 url 创建对应的 Sourceif (IsHTTPLiveURL(url)) {source = new HTTPLiveSource(notify, httpService, url, headers);mDataSourceType = DATA_SOURCE_TYPE_HTTP_LIVE;} else if (!strncasecmp(url, "rtsp://", 7)) {source = new RTSPSource(notify, httpService, url, headers, mUIDValid, mUID);mDataSourceType = DATA_SOURCE_TYPE_RTSP;} else if ((!strncasecmp(url, "http://", 7)|| !strncasecmp(url, "https://", 8))&& ((len >= 4 && !strcasecmp(".sdp", &url[len - 4]))|| strstr(url, ".sdp?"))) {source = new RTSPSource(notify, httpService, url, headers, mUIDValid, mUID, true);mDataSourceType = DATA_SOURCE_TYPE_RTSP;} else {sp<GenericSource> genericSource =new GenericSource(notify, mUIDValid, mUID, mMediaClock);status_t err = genericSource->setDataSource(httpService, url, headers);if (err == OK) {source = genericSource;} else {ALOGE("Failed to set data source!");}mDataSourceType = DATA_SOURCE_TYPE_GENERIC_URL;}msg->setObject("source", source);msg->post();
}
  1. NuPlayer 使用 android 异步消息处理机制来处理上层调用;
  2. 创建一个 AMessage 并将 target 设定为 NuPlayer 自身,从而实现 Source 到 NuPlayer 的 Callback;
  3. 根据 url 创建对应的 Source
    • 如果 url 以 .m3u8 结尾,那么认为这是一个直播源,创建 HTTPLiveSource
    • 如果 url 以 rtsp:// 开头,那么创建 RTSPSource
    • 如果 url 以 http:// https://开头,并以 .sdp 结尾,那么创建 RTSPSource,但是和上面的参数上会有区别;
    • 如果上面的条件不满足,则创建 GenericSource,一般是用来播放本地文件的。
  4. 设定对应的 mDataSourceType;

我们在上一篇笔记中说到,setDataSource 必须是同步调用,NuPlayer 完成 Source 创建后会 Callback 给 NuPlayerDriver:

        case kWhatSetDataSource:{CHECK(mSource == NULL);status_t err = OK;sp<RefBase> obj;CHECK(msg->findObject("source", &obj));if (obj != NULL) {Mutex::Autolock autoLock(mSourceLock);mSource = static_cast<Source *>(obj.get());} else {err = UNKNOWN_ERROR;}CHECK(mDriver != NULL);sp<NuPlayerDriver> driver = mDriver.promote();if (driver != NULL) {driver->notifySetDataSourceCompleted(err);}break;}

setDataSource 完成后,一些和 Source 相关的方法就可以调用了,比如 setBufferingSettings

2.2、prepareAsync

prepare 控制的内容很简单,就是调用 Source 的 prepareAsync 方法:

        case kWhatPrepare:{ALOGV("onMessageReceived kWhatPrepare");mSource->prepareAsync();break;}

Source prepareAsync 完成后会调用 post 将消息发送回来:

        case Source::kWhatPrepared:{// 1、ALOGV("NuPlayer::onSourceNotify Source::kWhatPrepared source: %p", mSource.get());if (mSource == NULL) {// This is a stale notification from a source that was// asynchronously preparing when the client called reset().// We handled the reset, the source is gone.break;}int32_t err;CHECK(msg->findInt32("err", &err));if (err != OK) {// shut down potential secure codecs in case client never calls resetmDeferredActions.push_back(new FlushDecoderAction(FLUSH_CMD_SHUTDOWN /* audio */,FLUSH_CMD_SHUTDOWN /* video */));processDeferredActions();} else {mPrepared = true;}sp<NuPlayerDriver> driver = mDriver.promote();if (driver != NULL) {// notify duration first, so that it's definitely set when// the app received the "prepare complete" callback.int64_t durationUs;if (mSource->getDuration(&durationUs) == OK) {driver->notifyDuration(durationUs);}driver->notifyPrepareCompleted(err);}break;}

这里有对 prepareAsync 过程中调用 reset 的情况做一些处理,如果 Source 被reset销毁变成 NULL,那么就不会上抛回调消息

2.3、start

        case kWhatStart:{ALOGV("kWhatStart");if (mStarted) {// do not resume yet if the source is still bufferingif (!mPausedForBuffering) {onResume();}} else {onStart();}mPausedByClient = false;break;}

如果播放还未开始,则调用 onStart,如果是暂停状态则调用 onResume,但是如果因为 buffer 不足 Source callback 回来调用了 pause,则不做任何操作。

先来看 onStart:

void NuPlayer::onStart(int64_t startPositionUs, MediaPlayerSeekMode mode) {// 1. 启动sourceif (!mSourceStarted) {mSourceStarted = true;mSource->start();}// 1. 如果设置了起播位置,则调用seekif (startPositionUs > 0) {performSeek(startPositionUs, mode);if (mSource->getFormat(false /* audio */) == NULL) {return;}}// 2. 初始化状态mOffloadAudio = false;mAudioEOS = false;mVideoEOS = false;mStarted = true;mPaused = false;uint32_t flags = 0;if (mSource->isRealTime()) {flags |= Renderer::FLAG_REAL_TIME;}// 3. 检查audio video formatbool hasAudio = (mSource->getFormat(true /* audio */) != NULL);bool hasVideo = (mSource->getFormat(false /* audio */) != NULL);if (!hasAudio && !hasVideo) {ALOGE("no metadata for either audio or video source");mSource->stop();mSourceStarted = false;notifyListener(MEDIA_ERROR, MEDIA_ERROR_UNKNOWN, ERROR_MALFORMED);return;}ALOGV_IF(!hasAudio, "no metadata for audio source");  // video only streamsp<MetaData> audioMeta = mSource->getFormatMeta(true /* audio */);audio_stream_type_t streamType = AUDIO_STREAM_MUSIC;if (mAudioSink != NULL) {streamType = mAudioSink->getAudioStreamType();}// 4. 判断当前 audio format 是否支持 offload 模式,如果是DRM视频,则不允许 offloadmOffloadAudio =canOffloadStream(audioMeta, hasVideo, mSource->isStreaming(), streamType)&& (mPlaybackSettings.mSpeed == 1.f && mPlaybackSettings.mPitch == 1.f);// Modular DRM: Disabling audio offload if the source is protectedif (mOffloadAudio && mIsDrmProtected) {mOffloadAudio = false;}if (mOffloadAudio) {flags |= Renderer::FLAG_OFFLOAD_AUDIO;}// 5. 创建Render,创建 RendererLooper 处理 Render的事件sp<AMessage> notify = new AMessage(kWhatRendererNotify, this);++mRendererGeneration;notify->setInt32("generation", mRendererGeneration);mRenderer = new Renderer(mAudioSink, mMediaClock, notify, flags);mRendererLooper = new ALooper;mRendererLooper->setName("NuPlayerRenderer");mRendererLooper->start(false, false, ANDROID_PRIORITY_AUDIO);mRendererLooper->registerHandler(mRenderer);// 6. 初始化 render 设置status_t err = mRenderer->setPlaybackSettings(mPlaybackSettings);if (err != OK) {mSource->stop();mSourceStarted = false;notifyListener(MEDIA_ERROR, MEDIA_ERROR_UNKNOWN, err);return;}float rate = getFrameRate();if (rate > 0) {mRenderer->setVideoFrameRate(rate);}// 7. 如果当前有 video 和 audio decoder,将decoder 和 render绑定if (mVideoDecoder != NULL) {mVideoDecoder->setRenderer(mRenderer);}if (mAudioDecoder != NULL) {mAudioDecoder->setRenderer(mRenderer);}startPlaybackTimer("onstart");// 8. 调用 postScanSourcespostScanSources();
}

虽然 onStart 方法比较长,但是还是比较有条理的,启动了 Source,创建并启动 Render,创建并启动 Decoder:

  1. 启动 Source,对起播位置进行设定;
  2. 检查视频是否含有audio video source,如果都没有则该视频不能播放;
  3. 判断当前 audio format 是否支持 offload 模式,如果是DRM视频,则不允许 offload,audio 的工作方式将会影响 Render 的工作方式;
  4. 创建Render,创建 RendererLooper 处理 Render的事件,初始化 Render 设定;
  5. 调用 postScanSources 创建 Decoder;

接下来看 postScanSources 是如何创建 Decoder 的:

        case kWhatScanSources:{bool rescan = false;// 1. 创建 videoif (mSurface != NULL) {if (instantiateDecoder(false, &mVideoDecoder) == -EWOULDBLOCK) {rescan = true;}}// 2. 创建 audio// Don't try to re-open audio sink if there's an existing decoder.if (mAudioSink != NULL && mAudioDecoder == NULL) {if (instantiateDecoder(true, &mAudioDecoder) == -EWOULDBLOCK) {rescan = true;}}// 3. 如果创建失败则重新扫描if (rescan) {msg->post(100000LL);mScanSourcesPending = true;}break;}
  1. 如果 Surface 不为 NULL,那么就会调用 instantiateDecoder 创建 video decoder;
  2. mAudioSink 不为 NULL,那么就会去创建 audio decoder;
  3. 如果有哪一个 decoder 创建失败,那么就会不断发送 kWhatScanSources 扫描 source,直到 video 和 audio decoder 都创建完成。

从这里我们大致可以猜到,播放过程中是可以先只播放 video 或者 audio,再中途追加播放另一个,只要 avsync 能够支援就行。

status_t NuPlayer::instantiateDecoder(bool audio, sp<DecoderBase> *decoder, bool checkAudioModeChange) {// 1. 检查 decoder 是否已经创建,如果已经创建则不重复创建if (*decoder != NULL || (audio && mFlushingAudio == SHUT_DOWN)) {return OK;}// 2. 获取 format,如果没有 format 则退出等待下次扫描sp<AMessage> format = mSource->getFormat(audio);if (format == NULL) {return UNKNOWN_ERROR;} else {status_t err;if (format->findInt32("err", &err) && err) {return err;}}format->setInt32("priority", 0 /* realtime */);if (mDataSourceType == DATA_SOURCE_TYPE_RTP) {ALOGV("instantiateDecoder: set decoder error free on stream corrupt.");format->setInt32("corrupt-free", true);}// 3. 创建 CCDecoder,初始化Video Decoder config formatif (!audio) {AString mime;CHECK(format->findString("mime", &mime));sp<AMessage> ccNotify = new AMessage(kWhatClosedCaptionNotify, this);if (mCCDecoder == NULL) {mCCDecoder = new CCDecoder(ccNotify);}if (mSourceFlags & Source::FLAG_SECURE) {format->setInt32("secure", true);}if (mSourceFlags & Source::FLAG_PROTECTED) {format->setInt32("protected", true);}float rate = getFrameRate();if (rate > 0) {format->setFloat("operating-rate", rate * mPlaybackSettings.mSpeed);}}Mutex::Autolock autoLock(mDecoderLock);if (audio) {sp<AMessage> notify = new AMessage(kWhatAudioNotify, this);++mAudioDecoderGeneration;notify->setInt32("generation", mAudioDecoderGeneration);if (checkAudioModeChange) {determineAudioModeChange(format);}// 4. 创建 audio decoder,如果是offload 模式则创建DecoderPassThrough,否则创建Decoderif (mOffloadAudio) {mSource->setOffloadAudio(true /* offload */);const bool hasVideo = (mSource->getFormat(false /*audio */) != NULL);format->setInt32("has-video", hasVideo);*decoder = new DecoderPassThrough(notify, mSource, mRenderer);ALOGV("instantiateDecoder audio DecoderPassThrough  hasVideo: %d", hasVideo);} else {mSource->setOffloadAudio(false /* offload */);*decoder = new Decoder(notify, mSource, mPID, mUID, mRenderer);ALOGV("instantiateDecoder audio Decoder");}mAudioDecoderError = false;} else {sp<AMessage> notify = new AMessage(kWhatVideoNotify, this);++mVideoDecoderGeneration;notify->setInt32("generation", mVideoDecoderGeneration);// 5. 创建 video decoder*decoder = new Decoder(notify, mSource, mPID, mUID, mRenderer, mSurface, mCCDecoder);mVideoDecoderError = false;// enable FRC if high-quality AV sync is requested, even if not// directly queuing to display, as this will even improve textureview// playback.{if (property_get_bool("persist.sys.media.avsync", false)) {format->setInt32("auto-frc", 1);}}}// 6. 调用创建的decoder的init方法(*decoder)->init();// Modular DRMif (mIsDrmProtected) {format->setPointer("crypto", mCrypto.get());ALOGV("instantiateDecoder: mCrypto: %p (%d) isSecure: %d", mCrypto.get(),(mCrypto != NULL ? mCrypto->getStrongCount() : 0),(mSourceFlags & Source::FLAG_SECURE) != 0);}// 7. 调用创建的decoder的configure方法(*decoder)->configure(format);return OK;
}
  1. 检查 decoder 是否已经创建,如果已经创建则不重复创建;
  2. 获取 format,如果没有 format 则退出等待下次扫描;
  3. 如果是要创建video decoder,则创建 CCDecoder,初始化Video Decoder config format;
  4. 创建 audio decoder,如果是offload 模式则创建DecoderPassThrough,否则创建Decoder
  5. 创建 video decoder
  6. 调用创建的decoder的init方法
  7. 调用创建的decoder的configure方法

在创建 VideoDecoder 和 AudioDecoder 时,需要将 render 作为参数传递进去,这里已经将decoder 和 render 做了绑定。

NuPlayerDecoder 没有start接口,configure 调用中会自动完成 start调用,所以 instantiateDecoder 调用完成后 decoder 就已经启动完成了。

2.4、pause

pause 方法很简单,只要将 Source 和 Render 都 pause 就行,Decoder 无法从 Source 拿到数据,那么自然而然就暂停了。

void NuPlayer::onPause() {updatePlaybackTimer(true /* stopping */, "onPause");if (mPaused) {return;}mPaused = true;if (mSource != NULL) {mSource->pause();} else {ALOGW("pause called when source is gone or not set");}if (mRenderer != NULL) {mRenderer->pause();} else {ALOGW("pause called when renderer is gone or not set");}
}

这里再看 start 方法中的 onResume,恢复 Source 和 Renderer 的动作就行:

void NuPlayer::onResume() {if (!mPaused || mResetting) {ALOGD_IF(mResetting, "resetting, onResume discarded");return;}mPaused = false;if (mSource != NULL) {mSource->resume();} else {ALOGW("resume called when source is gone or not set");}// |mAudioDecoder| may have been released due to the pause timeout, so re-create it if// needed.if (audioDecoderStillNeeded() && mAudioDecoder == NULL) {instantiateDecoder(true /* audio */, &mAudioDecoder);}if (mRenderer != NULL) {mRenderer->resume();} else {ALOGW("resume called when renderer is gone or not set");}
}

2.5、resetAsync

void NuPlayer::resetAsync() {sp<Source> source;{Mutex::Autolock autoLock(mSourceLock);source = mSource;}if (source != NULL) {source->disconnect();}(new AMessage(kWhatReset, this))->post();
}

由于 Source 可能会出现阻塞的情况,所以 resetAsync 处理过程中需要先调用 Source.disconnect ,从达到加速reset的目的。

        case kWhatReset:{mResetting = true;// 1. flushmDeferredActions.push_back(new FlushDecoderAction(FLUSH_CMD_SHUTDOWN /* audio */,FLUSH_CMD_SHUTDOWN /* video */));// 2. resetmDeferredActions.push_back(new SimpleAction(&NuPlayer::performReset));processDeferredActions();break;}

reset 的过程分为两个步骤:

  1. flush:刷新 decoder render 中的数据,立即停止播放;
  2. reset:释放 decoder render source 的资源;

先来看下 processDeferredActions 方法,这里用到一种延迟处理的机制,一开始我不是很理解为什么这里要用这种机制,为什么不直接按顺序 post 一条消息呢?仔细阅读注释可以发现意思是这样:当不在即时状态时,我们将不会执行被延迟的方法。看起来还是有点难懂,但是它后面还举了例子,当 decoder 进入到了 flushing 和 shutting down 的状态时,这些被延迟的方法将不再被处理。

我的理解是这样,接下来需要执行的几个 Action 必须是要按照顺序执行的,但是目前处在 onMessageReceived 处理过程中,用 postAwaitResponse 等待返回肯定是不行的;如果按顺序 post 消息执行,由于 Action 执行的任务是异步的,并不能保证后面 Action 执行时前面的 Action 已经执行完成。所以这里用了 DeferredActions 机制,处理 Action 时先检查状态,如果状态不如预期则延迟执行,等待上一条 Action 执行完成后再调用 processDeferredActions 统一执行延迟的任务,从而保证了执行顺序。

void NuPlayer::processDeferredActions() {while (!mDeferredActions.empty()) {// We won't execute any deferred actions until we're no longer in// an intermediate state, i.e. one more more decoders are currently// flushing or shutting down.if (mFlushingAudio != NONE || mFlushingVideo != NONE) {// We're currently flushing, postpone the reset until that's// completed.ALOGV("postponing action mFlushingAudio=%d, mFlushingVideo=%d",mFlushingAudio, mFlushingVideo);break;}sp<Action> action = *mDeferredActions.begin();mDeferredActions.erase(mDeferredActions.begin());action->execute(this);}
}

接下来看 flush 流程,核心是调用的 decoder,并且将参数 needShutdown 置为 true

void NuPlayer::performDecoderFlush(FlushCommand audio, FlushCommand video) {ALOGV("performDecoderFlush audio=%d, video=%d", audio, video);if ((audio == FLUSH_CMD_NONE || mAudioDecoder == NULL)&& (video == FLUSH_CMD_NONE || mVideoDecoder == NULL)) {return;}if (audio != FLUSH_CMD_NONE && mAudioDecoder != NULL) {flushDecoder(true /* audio */, (audio == FLUSH_CMD_SHUTDOWN));}if (video != FLUSH_CMD_NONE && mVideoDecoder != NULL) {flushDecoder(false /* audio */, (video == FLUSH_CMD_SHUTDOWN));}
}

flushDecoder 的核心是调用 Decoder 的 signalFlush 方法,并且将 mFlushingAudio 和 mFlushingVideo 置为 FLUSHING_DECODER_SHUTDOWN ,这将终止 decoder 的运行;如果是单纯的 flush 两个标志将被置为 FLUSHING_DECODER,decoder 将会继续运行。

void NuPlayer::flushDecoder(bool audio, bool needShutdown) {ALOGV("[%s] flushDecoder needShutdown=%d",audio ? "audio" : "video", needShutdown);const sp<DecoderBase> &decoder = getDecoder(audio);if (decoder == NULL) {ALOGI("flushDecoder %s without decoder present",audio ? "audio" : "video");return;}// Make sure we don't continue to scan sources until we finish flushing.++mScanSourcesGeneration;if (mScanSourcesPending) {if (!needShutdown) {mDeferredActions.push_back(new SimpleAction(&NuPlayer::performScanSources));}mScanSourcesPending = false;}decoder->signalFlush();FlushStatus newStatus =needShutdown ? FLUSHING_DECODER_SHUTDOWN : FLUSHING_DECODER;mFlushComplete[audio][false /* isDecoder */] = (mRenderer == NULL);mFlushComplete[audio][true /* isDecoder */] = false;if (audio) {ALOGE_IF(mFlushingAudio != NONE,"audio flushDecoder() is called in state %d", mFlushingAudio);mFlushingAudio = newStatus;} else {ALOGE_IF(mFlushingVideo != NONE,"video flushDecoder() is called in state %d", mFlushingVideo);mFlushingVideo = newStatus;}
}

由于 mFlushingAudio 和 mFlushingVideo 不再是 FLUSH_CMD_NONE,所以 flushDecoder 执行完成后将暂时跳过 performReset 的执行。我们之前了解到 reset 是阻塞执行的,那这里是不是就卡死了呢?

当然不会,decoder 执行完 flush之后会 callback 回来。调用 flush 的过程中 render 也会被 flush,同样也会有个 callback回来,render callback的处理内容和decoder类似,这里暂时就不贴了。

else if (what == DecoderBase::kWhatFlushCompleted) {ALOGV("decoder %s flush completed", audio ? "audio" : "video");handleFlushComplete(audio, true /* isDecoder */);finishFlushIfPossible();}

mFlushComplete 分为两组:

isAudioisDecoder
audiodecoder
audiorender
videodecoder
videorender

handleFlushComplete 需要分别等到audio 和 video 的 decoder 和 render 的 flush callback 都上抛才会真正去执行,如果当前的 FlushStatus 是 FLUSHING_DECODER,那么flush过程就完成了;如果FlushStatus 是 FLUSHING_DECODER_SHUTDOWN,那么还会继续调用 decoder 的 initiateShutdown 方法去释放 decoder 中的资源,并将 status 重新置为 SHUTTING_DOWN_DECODER

void NuPlayer::handleFlushComplete(bool audio, bool isDecoder) {// We wait for both the decoder flush and the renderer flush to complete// before entering either the FLUSHED or the SHUTTING_DOWN_DECODER state.mFlushComplete[audio][isDecoder] = true;if (!mFlushComplete[audio][!isDecoder]) {return;}FlushStatus *state = audio ? &mFlushingAudio : &mFlushingVideo;switch (*state) {case FLUSHING_DECODER:{*state = FLUSHED;break;}case FLUSHING_DECODER_SHUTDOWN:{*state = SHUTTING_DOWN_DECODER;ALOGV("initiating %s decoder shutdown", audio ? "audio" : "video");getDecoder(audio)->initiateShutdown();break;}default:// decoder flush completes only occur in a flushing state.LOG_ALWAYS_FATAL_IF(isDecoder, "decoder flush in invalid state %d", *state);break;}
}

由于 status 为 SHUTTING_DOWN_DECODER,finishFlushIfPossible 将不会有什么动作,接下来会继续等待 decoder shutdown 完成上抛 callback。

else if (what == DecoderBase::kWhatShutdownCompleted) {ALOGV("%s shutdown completed", audio ? "audio" : "video");if (audio) {Mutex::Autolock autoLock(mDecoderLock);mAudioDecoder.clear();mAudioDecoderError = false;++mAudioDecoderGeneration;CHECK_EQ((int)mFlushingAudio, (int)SHUTTING_DOWN_DECODER);mFlushingAudio = SHUT_DOWN;} else {Mutex::Autolock autoLock(mDecoderLock);mVideoDecoder.clear();mVideoDecoderError = false;++mVideoDecoderGeneration;CHECK_EQ((int)mFlushingVideo, (int)SHUTTING_DOWN_DECODER);mFlushingVideo = SHUT_DOWN;}finishFlushIfPossible();} 

收到 kWhatShutdownCompleted 之后 NuPlayer 将会释放掉 decoder,然后执行 finishFlushIfPossible。

finishFlushIfPossible 会重置 mFlushingAudio 和 mFlushingVideo 的状态,然后执行剩下来的被推迟的方法,接下来要执行的是 performReset,进行 reset 函数的收尾。

void NuPlayer::performReset() {ALOGV("performReset");CHECK(mAudioDecoder == NULL);CHECK(mVideoDecoder == NULL);updatePlaybackTimer(true /* stopping */, "performReset");updateRebufferingTimer(true /* stopping */, true /* exiting */);cancelPollDuration();++mScanSourcesGeneration;mScanSourcesPending = false;if (mRendererLooper != NULL) {if (mRenderer != NULL) {mRendererLooper->unregisterHandler(mRenderer->id());}mRendererLooper->stop();mRendererLooper.clear();}mRenderer.clear();++mRendererGeneration;if (mSource != NULL) {mSource->stop();Mutex::Autolock autoLock(mSourceLock);mSource.clear();}if (mDriver != NULL) {sp<NuPlayerDriver> driver = mDriver.promote();if (driver != NULL) {driver->notifyResetComplete();}}mStarted = false;mPrepared = false;mResetting = false;mSourceStarted = false;// Modular DRMif (mCrypto != NULL) {// decoders will be flushed before this so their mCrypto would go away on their own// TODO change to ALOGVALOGD("performReset mCrypto: %p (%d)", mCrypto.get(),(mCrypto != NULL ? mCrypto->getStrongCount() : 0));mCrypto.clear();}mIsDrmProtected = false;
}

reset 函数将会停止并销毁掉 renderLooper 和 render,停止并销毁掉 Source,最后 callback 通知 NuPlayerDriver reset 操作完成。

请添加图片描述

2.6、seekToAsync

如果调用 seekToAsync 时已经 prepare 完成但是还没起播,那么调用 seek 方法会帮助我们调用 start,解出内容后就暂停,从而达到预览的效果。

        case kWhatSeek:{int64_t seekTimeUs;int32_t mode;int32_t needNotify;CHECK(msg->findInt64("seekTimeUs", &seekTimeUs));CHECK(msg->findInt32("mode", &mode));CHECK(msg->findInt32("needNotify", &needNotify));if (!mStarted) {// Seek before the player is started. In order to preview video,// need to start the player and pause it. This branch is called// only once if needed. After the player is started, any seek// operation will go through normal path.// Audio-only cases are handled separately.onStart(seekTimeUs, (MediaPlayerSeekMode)mode);if (mStarted) {onPause();mPausedByClient = true;}if (needNotify) {notifyDriverSeekComplete();}break;}mDeferredActions.push_back(new FlushDecoderAction(FLUSH_CMD_FLUSH /* audio */,FLUSH_CMD_FLUSH /* video */));mDeferredActions.push_back(new SeekAction(seekTimeUs, (MediaPlayerSeekMode)mode));// After a flush without shutdown, decoder is paused.// Don't resume it until source seek is done, otherwise it could// start pulling stale data too soon.mDeferredActions.push_back(new ResumeDecoderAction(needNotify));processDeferredActions();break;}

处理 seek 总共分为3个 Action:FlushDecoderAction、SeekAction、ResumeDecoderAction。其中 FlushDecoderAction 我们在上一节中已经了解过了,不一样的是这里并不会走到 shutdown 的流程中。

SeekAction 核心是调用 Source 的 seekTo:

void NuPlayer::performSeek(int64_t seekTimeUs, MediaPlayerSeekMode mode) {ALOGV("performSeek seekTimeUs=%lld us (%.2f secs), mode=%d",(long long)seekTimeUs, seekTimeUs / 1E6, mode);if (mSource == NULL) {// This happens when reset occurs right before the loop mode// asynchronously seeks to the start of the stream.LOG_ALWAYS_FATAL_IF(mAudioDecoder != NULL || mVideoDecoder != NULL,"mSource is NULL and decoders not NULL audio(%p) video(%p)",mAudioDecoder.get(), mVideoDecoder.get());return;}mPreviousSeekTimeUs = seekTimeUs;mSource->seekTo(seekTimeUs, mode);++mTimedTextGeneration;// everything's flushed, continue playback.
}

seek 完成后会立刻调用 resume 恢复播放,如果这里不恢复就会出现黑屏的情况。resume 主要是用来操作 Decoder,调用 Decoder 的 signalResume,signalResume 执行完成后,decoder 重新开始接收数据,开始播放。

void NuPlayer::performResumeDecoders(bool needNotify) {if (needNotify) {mResumePending = true;if (mVideoDecoder == NULL) {// if audio-only, we can notify seek complete now,// as the resume operation will be relatively fast.finishResume();}}if (mVideoDecoder != NULL) {// When there is continuous seek, MediaPlayer will cache the seek// position, and send down new seek request when previous seek is// complete. Let's wait for at least one video output frame before// notifying seek complete, so that the video thumbnail gets updated// when seekbar is dragged.mVideoDecoder->signalResume(needNotify);}if (mAudioDecoder != NULL) {mAudioDecoder->signalResume(false /* needNotify */);}
}void NuPlayer::finishResume() {if (mResumePending) {mResumePending = false;notifyDriverSeekComplete();}
}

关于 seekToAsync 的第三个参数 needNotify 还要提一下,这里这么设计是因为 seekToAsync 除了我们主动调用外,NuPlayerDriver 那边还有可能自动调用。我们主动调用,需要将执行完成的消息 Callback 到上层,另外stop之后再重新prepare也会调用seek,这里也需要 Callback;自动调用指的是播放结束再调用 start,这里会 seek 到0的位置,不需要 Callback通知上层。

还有一点自己的理解,之前我们大致了解 prepare 是一个异步处理的过程,这个过程中 reset 需要有一些特殊的处理,这里的 seek 也是异步的过程,那 seek 过程中 reset 或者 stop 需要有特殊处理吗?答案是不需要的,seek 会在 Looper 执行,reset 和 stop 的消息需要等待 seek 执行完成再处理,所以这是是顺序执行的,并没有真正的异步。


3、ALooper 与 Callback 设计

NuPlayer 共有1个 ALooper,但是这个 Looper 是给 Renderer使用的:

    mRenderer = new Renderer(mAudioSink, mMediaClock, notify, flags);mRendererLooper = new ALooper;mRendererLooper->setName("NuPlayerRenderer");mRendererLooper->start(false, false, ANDROID_PRIORITY_AUDIO);mRendererLooper->registerHandler(mRenderer);

NuPlayer 自身使用的 ALooper 在 NuPlayerDriver 中创建:

	mLooper(new ALooper),mLooper->setName("NuPlayerDriver Looper");mLooper->start(false, true, PRIORITY_AUDIO);mLooper->registerHandler(mPlayer);

这里会有个问题,为什么它自己使用的 ALooper 不在 NuPlayer 中创建,而是要放在上层中创建呢?对比 Source 和 Decoder,他们使用的 ALooper 却放在自己的类中创建。

我认为放在哪一层创建都是可以的,但是要注意的是,如果 ALooper 在自己的构造函数中创建时,registerHandler(this) 不能在构造函数中调用!需要等构造函数调用完成后再注册到 ALooper 中。

以 NuPlayerDecoder 为例,他的 Looper 是在构造函数中创建,但是 registerHandler 放在 init 中,NuPlayer 创建了 Decoder 实例后需要额外调用 init 方法来注册。

NuPlayer::DecoderBase::DecoderBase(const sp<AMessage> &notify):  mNotify(notify),mBufferGeneration(0),mPaused(false),mStats(new AMessage),mRequestInputBuffersPending(false) {// Every decoder has its own looper because MediaCodec operations// are blocking, but NuPlayer needs asynchronous operations.mDecoderLooper = new ALooper;mDecoderLooper->setName("NPDecoder");mDecoderLooper->start(false, false, ANDROID_PRIORITY_AUDIO);
}void NuPlayer::DecoderBase::init() {mDecoderLooper->registerHandler(this);
}

回到 NuPlayer 中来,NuPlayerDriver Looper 除了处理 NuPlayer 异步消息外,还要处理 Source、Render、Decoder 发送上来的 Callback 消息,消息来源用 AMessage.what 区分,具体的消息用 what成员区分:

  • Source:kWhatSourceNotify
  • Render:kWhatRendererNotify
  • Decoder:kWhatVideoNotify、kWhatAudioNotify

4、总结

到这里 NuPlayer 的了解就告一段落,里面异步处理的思想 和 播放器的处理流程 还是要多多揣摩学习,回想起自己写的 Player 各种处理速度都不理想,还是太年轻了。

这里再整理关键方法需要执行的内容:

  • setDataSourceAsync:
    1. create Source
  • prepareAsync
    1. Source.prepareAsync
  • start
    1. create Render
    2. create Decoder,start Decoder and Render
  • pause
    1. pause Source
    2. pause Render
  • start (resume)
    1. resume Source
    2. resume Render
  • seekToAsync
    1. flush Decoder (pause) and Render
    2. seek Source
    3. resume Decoder and Render
  • resetAsync
    1. disconnect Source
    2. flush Decoder and Render
    3. shut down Decoder
    4. release Decoder
    5. stop and release Render
    6. stop and release Source

再对比下两个暂停的实现方式:
pause 通过暂停 Source 送数据,暂停 Render 渲染数据来完成,Decoder 不需要暂停;
flush 的暂停通过不给 Decoder 喂数据来实现,不需要暂停 Source。

这篇关于Android 13 - Media框架(6)- NuPlayer的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/305502

相关文章

Android 悬浮窗开发示例((动态权限请求 | 前台服务和通知 | 悬浮窗创建 )

《Android悬浮窗开发示例((动态权限请求|前台服务和通知|悬浮窗创建)》本文介绍了Android悬浮窗的实现效果,包括动态权限请求、前台服务和通知的使用,悬浮窗权限需要动态申请并引导... 目录一、悬浮窗 动态权限请求1、动态请求权限2、悬浮窗权限说明3、检查动态权限4、申请动态权限5、权限设置完毕后

Android里面的Service种类以及启动方式

《Android里面的Service种类以及启动方式》Android中的Service分为前台服务和后台服务,前台服务需要亮身份牌并显示通知,后台服务则有启动方式选择,包括startService和b... 目录一句话总结:一、Service 的两种类型:1. 前台服务(必须亮身份牌)2. 后台服务(偷偷干

修改若依框架Token的过期时间问题

《修改若依框架Token的过期时间问题》本文介绍了如何修改若依框架中Token的过期时间,通过修改`application.yml`文件中的配置来实现,默认单位为分钟,希望此经验对大家有所帮助,也欢迎... 目录修改若依框架Token的过期时间修改Token的过期时间关闭Token的过期时js间总结修改若依

Android kotlin语言实现删除文件的解决方案

《Androidkotlin语言实现删除文件的解决方案》:本文主要介绍Androidkotlin语言实现删除文件的解决方案,在项目开发过程中,尤其是需要跨平台协作的项目,那么删除用户指定的文件的... 目录一、前言二、适用环境三、模板内容1.权限申请2.Activity中的模板一、前言在项目开发过程中,尤

Android数据库Room的实际使用过程总结

《Android数据库Room的实际使用过程总结》这篇文章主要给大家介绍了关于Android数据库Room的实际使用过程,详细介绍了如何创建实体类、数据访问对象(DAO)和数据库抽象类,需要的朋友可以... 目录前言一、Room的基本使用1.项目配置2.创建实体类(Entity)3.创建数据访问对象(DAO

MyBatis框架实现一个简单的数据查询操作

《MyBatis框架实现一个简单的数据查询操作》本文介绍了MyBatis框架下进行数据查询操作的详细步骤,括创建实体类、编写SQL标签、配置Mapper、开启驼峰命名映射以及执行SQL语句等,感兴趣的... 基于在前面几章我们已经学习了对MyBATis进行环境配置,并利用SqlSessionFactory核

Android WebView的加载超时处理方案

《AndroidWebView的加载超时处理方案》在Android开发中,WebView是一个常用的组件,用于在应用中嵌入网页,然而,当网络状况不佳或页面加载过慢时,用户可能会遇到加载超时的问题,本... 目录引言一、WebView加载超时的原因二、加载超时处理方案1. 使用Handler和Timer进行超

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影