webrtc之Android视频质量提升:保帧率降码率

2024-03-16 00:08

本文主要是介绍webrtc之Android视频质量提升:保帧率降码率,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言:

我们的产品是在一款跑着Android系统的特定芯片上使用webrtc开发的一个视频通话业务,当前的情况是在网络正常的情况下帧率也比较低,弱网环境下适应能力较差。基于此,我了解了webrtc Android平台的视频采集编码流程,并编写了相应的文章《webrtc之Android视频采集编码》。在深入细节之后,定位问题所在,并做了相应优化,在此记录相关过程,以后日后复习,以及和大家共同学习。
 

帧率低下问题定位与优化

问题定位:

在采集到编码的这条链路上进行帧率的统计,看一下那个地方导致的帧率下降。通过如下的方法进行帧率的计算:

// TODO
static int captureFrameCount = 0;
static double nextCaptureStatisticsTime = -1;
static double UNIT_TIME_INTERVAL = 1000;static int capturePreprocessingFrameCount = 0;
static double nextCapturePreprocessingStatisticsTime = -1;captureFrameCount++;
long currentTime = clock_->TimeInMicroseconds()/rtc::kNumMicrosecsPerMillisec;
if(nextCaptureStatisticsTime == -1) {nextCaptureStatisticsTime = currentTime + UNIT_TIME_INTERVAL;
}
if(currentTime > nextCaptureStatisticsTime) {RTC_LOG(LS_INFO) << "statistics VideoStreamEncoder capture frame count:" << captureFrameCount;nextCaptureStatisticsTime = currentTime + UNIT_TIME_INTERVAL;captureFrameCount = 0;
}

通过上述方法跟踪到帧率降低在类VideoSender的AddVideoFrame函数中,经过如下代码后,帧率发生的明显降低。

if (_mediaOpt.DropFrame()) {RTC_LOG(LS_INFO) << "statistics bitrate track Drop Frame "<< " rtt " << encoder_params.rtt<< " input frame rate " << encoder_params.input_frame_rate<< " loss rate " << encoder_params.loss_rate<< " target bitrate " << encoder_params.target_bitrate.get_sum_bps();post_encode_callback_->OnDroppedFrame(EncodedImageCallback::DropReason::kDroppedByMediaOptimizations);return VCM_OK;
}

通过深入代码后,了解到这是webrtc支持弱网环境策略中的一个模块,根据目标码率丢帧。算法简单的理解就是:1.统计每个从采集模块过来的图像,然后计算帧率。2.根据编码后的图像码率和目标码率(webrtc估算出来当前网络最合适传输码率)以及统计得到的帧率等信息更新丢帧比率。3.根据计算的丢帧比率去实现均匀的丢帧。算法的具体细节已有道友做文章进行了刨析,各位可以结合代码进行深入理解,我就不重复造轮子了。《webrtc视频帧率控制算法机制(一)--目标码率丢帧》。
 

优化帧率:

已经定位到导致帧率地下的地方,接下来要做的就是如何进行优化。根据业务场景:画面质量可以下降,但是帧率一定要稳定的要求我简单粗暴的将该策略禁掉。这样一来就引申出了一系列的问题,当网络条件不好的时候如何保证视频质量,当然可以通过降码率,这部分内容在后面将会详细介绍。另一个问题是采集到来的图像帧率始终特别高,这将导致码率一直飙高,还有因为设备性能的不同或者一些其他问题(采集端帧率设置接口并不好使,或者是我没找到好使的接口)导致不同设备到来的帧率不一样。解决这个问题我通过webrtc的另一个丢帧策略来实现:根据目标帧率丢帧。该算法在我使用的版本已经被移除,我有手动添加回来。具体实现如下:

/**  Copyright (c) 2011 The WebRTC project authors. All Rights Reserved.**  Use of this source code is governed by a BSD-style license*  that can be found in the LICENSE file in the root of the source*  tree. An additional intellectual property rights grant can be found*  in the file PATENTS.  All contributing project authors may*  be found in the AUTHORS file in the root of the source tree.*/#include "webrtc/modules/video_processing/main/interface/video_processing.h"
#include "webrtc/modules/video_processing/main/source/video_decimator.h"
#include "webrtc/system_wrappers/interface/tick_util.h"#define VD_MIN(a, b) ((a) < (b)) ? (a) : (b)namespace webrtc {VPMVideoDecimator::VPMVideoDecimator() {Reset();
}VPMVideoDecimator::~VPMVideoDecimator() {}void VPMVideoDecimator::Reset()  {overshoot_modifier_ = 0;drop_count_ = 0;keep_count_ = 0;target_frame_rate_ = 30;incoming_frame_rate_ = 0.0f;memset(incoming_frame_times_, 0, sizeof(incoming_frame_times_));enable_temporal_decimation_ = true;
}void VPMVideoDecimator::EnableTemporalDecimation(bool enable) {enable_temporal_decimation_ = enable;
}int32_t VPMVideoDecimator::SetTargetFramerate(uint32_t frame_rate) {if (frame_rate == 0) return VPM_PARAMETER_ERROR;target_frame_rate_ = frame_rate;return VPM_OK;
}bool VPMVideoDecimator::DropFrame() {if (!enable_temporal_decimation_) return false;if (incoming_frame_rate_ <= 0) return false;const uint32_t incomingframe_rate =static_cast<uint32_t>(incoming_frame_rate_ + 0.5f);if (target_frame_rate_ == 0) return true;bool drop = false;if (incomingframe_rate > target_frame_rate_) {int32_t overshoot =overshoot_modifier_ + (incomingframe_rate - target_frame_rate_);if (overshoot < 0) {overshoot = 0;overshoot_modifier_ = 0;}if (overshoot && 2 * overshoot < (int32_t) incomingframe_rate) {if (drop_count_) {  // Just got here so drop to be sure.drop_count_ = 0;return true;}const uint32_t dropVar = incomingframe_rate / overshoot;if (keep_count_ >= dropVar) {drop = true;overshoot_modifier_ = -((int32_t) incomingframe_rate % overshoot) / 3;keep_count_ = 1;} else {keep_count_++;}} else {keep_count_ = 0;const uint32_t dropVar = overshoot / target_frame_rate_;if (drop_count_ < dropVar) {drop = true;drop_count_++;} else {overshoot_modifier_ = overshoot % target_frame_rate_;drop = false;drop_count_ = 0;}}}return drop;
}uint32_t VPMVideoDecimator::Decimatedframe_rate() {
ProcessIncomingframe_rate(TickTime::MillisecondTimestamp());if (!enable_temporal_decimation_) {return static_cast<uint32_t>(incoming_frame_rate_ + 0.5f);}return VD_MIN(target_frame_rate_,static_cast<uint32_t>(incoming_frame_rate_ + 0.5f));
}uint32_t VPMVideoDecimator::Inputframe_rate() {ProcessIncomingframe_rate(TickTime::MillisecondTimestamp());return static_cast<uint32_t>(incoming_frame_rate_ + 0.5f);
}void VPMVideoDecimator::UpdateIncomingframe_rate() {int64_t now = TickTime::MillisecondTimestamp();if (incoming_frame_times_[0] == 0) {// First no shift.} else {// Shift.for (int i = kFrameCountHistory_size - 2; i >= 0; i--) {incoming_frame_times_[i+1] = incoming_frame_times_[i];}}incoming_frame_times_[0] = now;ProcessIncomingframe_rate(now);
}void VPMVideoDecimator::ProcessIncomingframe_rate(int64_t now) {int32_t num = 0;int32_t nrOfFrames = 0;for (num = 1; num < (kFrameCountHistory_size - 1); num++) {// Don't use data older than 2sec.if (incoming_frame_times_[num] <= 0 ||now - incoming_frame_times_[num] > kFrameHistoryWindowMs) {break;} else {nrOfFrames++;}}if (num > 1) {int64_t diff = now - incoming_frame_times_[num-1];incoming_frame_rate_ = 1.0;if (diff > 0) {incoming_frame_rate_ = nrOfFrames * 1000.0f / static_cast<float>(diff);}} else {incoming_frame_rate_ = static_cast<float>(nrOfFrames);}
}}  // namespace webrtc

该算法和根据目标码率丢帧类似,相对来说更简单。先统计当前帧率,然后根据目标帧率和当前帧率计算不同的比率,最后实现均匀的丢帧。通过根据目标码率丢帧策略能够有效的抑制帧率在一个合适的数值。

动态调节码率

webrtc有一套码率自适应策略来应对弱网环境,我们要做的不是修改人家的算法,而是针对不同的业务调整不同的策略。
webrtc会通过丢包率和rtt等信息来判断当前的网络状况,进而通过调节编码器的码率来适应当前的网络状况。这个必须要求编码器支持动态调节码率。
我们的优化方案首先是设置码率的最大值和最小值,在弱网的情况下尽可能的传输的 流畅,而在网络条件好的情况下又要让视频达到一个很好的画质。
通过修改给sdp添加"x-google-start-bitrate"; x-google-max-bitrate"; "x-google-min-bitrate";等参数未能达到目的。

通过跟进编码器的初始化流程发现最小码率和最大码率的设置在VideoStreamEncoder类的ReconfigureEncoder函数:

void VideoStreamEncoder::ReconfigureEncoder() {//最小码率和最大码率在这里被设置。std::vector<VideoStream> streams =encoder_config_.video_stream_factory->CreateEncoderStreams(last_frame_info_->width, last_frame_info_->height, encoder_config_);VideoCodec codec;if (!VideoCodecInitializer::SetupCodec(encoder_config_, settings_, streams,nack_enabled_, &codec,&rate_allocator_)) {RTC_LOG(LS_ERROR) << "Failed to create encoder configuration.";}codec.startBitrate =std::max(encoder_start_bitrate_bps_ / 1000, codec.minBitrate);codec.startBitrate = std::min(codec.startBitrate, codec.maxBitrate);codec.expect_encode_from_texture = last_frame_info_->is_texture;max_framerate_ = codec.maxFramerate;RTC_DCHECK_LE(max_framerate_, kMaxFramerateFps);//codec被传递下去,进行编码器初始化。bool success = video_sender_.RegisterSendCodec(&codec, number_of_cores_,static_cast<uint32_t>(max_data_payload_length_)) == VCM_OK;

webrtcvideoengine.cc文件中类EncoderStreamFactory的CreateEncoderStreams函数:

std::vector<webrtc::VideoStream> EncoderStreamFactory::CreateEncoderStreams(int width, int height,const webrtc::VideoEncoderConfig& encoder_config) {// For unset max bitrates set default bitrate for non-simulcast.int max_bitrate_bps =(encoder_config.max_bitrate_bps > 0)? encoder_config.max_bitrate_bps: GetMaxDefaultVideoBitrateKbps(width, height) * 1000;webrtc::VideoStream stream;stream.width = width;stream.height = height;stream.max_framerate = max_framerate_;stream.max_framerate= GetMinVideoBitrateBps();stream.target_bitrate_bps = stream.max_bitrate_bps = max_bitrate_bps;

在这个函数中设置了max_framerate,和max_framerate。如果追溯更上层的设置,较为复杂繁琐。因为我们使用的平台统一,参数一致,所以直接在这里设置了。当然这种设置方式比较粗放,有待进一步细致柔性的设置。

stream.min_bitrate_bps = 200*1000;
stream.target_bitrate_bps = stream.max_bitrate_bps = 1800 *1000;

设置了这些参数后,通过测试发现,webrtc在网络条件不好的情况下逐渐减小编码码率,达到最小值;而当网络条件好的话,逐渐增加编码码率达到最大值。

webrtc在调节码率的时候还要依据一个参数,那就是帧率。帧率设置的大小,决定了某一网络条件下每一帧图像的数据量,直接决定了图像的清晰程度。最终码率 = 帧率*每一帧图像的数据量 。我在这里粗放的设置了某个值。

EncoderStreamFactory::EncoderStreamFactory(std::string codec_name,int max_qp,int max_framerate,bool is_screencast,bool conference_mode): codec_name_(codec_name),max_qp_(max_qp),//max_framerate_(max_framerate),max_framerate_(18),

 

后记

webrtc的码率自适应包括动态调节码率、帧率、分辨率来达到既定的码率,这里只介绍了调节帧率和码率,关于动态调节分辨率,有待进一步的研究。
 

这篇关于webrtc之Android视频质量提升:保帧率降码率的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/813713

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影

android-opencv-jni

//------------------start opencv--------------------@Override public void onResume(){ super.onResume(); //通过OpenCV引擎服务加载并初始化OpenCV类库,所谓OpenCV引擎服务即是 //OpenCV_2.4.3.2_Manager_2.4_*.apk程序包,存

从状态管理到性能优化:全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动

Android 10.0 mtk平板camera2横屏预览旋转90度横屏拍照图片旋转90度功能实现

1.前言 在10.0的系统rom定制化开发中,在进行一些平板等默认横屏的设备开发的过程中,需要在进入camera2的 时候,默认预览图像也是需要横屏显示的,在上一篇已经实现了横屏预览功能,然后发现横屏预览后,拍照保存的图片 依然是竖屏的,所以说同样需要将图片也保存为横屏图标了,所以就需要看下mtk的camera2的相关横屏保存图片功能, 如何实现实现横屏保存图片功能 如图所示: 2.mtk

android应用中res目录说明

Android应用的res目录是一个特殊的项目,该项目里存放了Android应用所用的全部资源,包括图片、字符串、颜色、尺寸、样式等,类似于web开发中的public目录,js、css、image、style。。。。 Android按照约定,将不同的资源放在不同的文件夹中,这样可以方便的让AAPT(即Android Asset Packaging Tool , 在SDK的build-tools目

Android fill_parent、match_parent、wrap_content三者的作用及区别

这三个属性都是用来适应视图的水平或者垂直大小,以视图的内容或尺寸为基础的布局,比精确的指定视图的范围更加方便。 1、fill_parent 设置一个视图的布局为fill_parent将强制性的使视图扩展至它父元素的大小 2、match_parent 和fill_parent一样,从字面上的意思match_parent更贴切一些,于是从2.2开始,两个属性都可以使用,但2.3版本以后的建议使

java学习,进阶,提升

http://how2j.cn/k/hutool/hutool-brief/1930.html?p=73689