WebRTC与QttAudio的回声消除技术在 Android 可视对讲程序中的应用与对比

本文主要是介绍WebRTC与QttAudio的回声消除技术在 Android 可视对讲程序中的应用与对比,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 引言

随着移动互联技术的成熟和发展,智能手机上基于无线网络的可视对讲功能的应用已经开始逐步兴起。在Android系统上的此类应用程序的开发过程中,都会遇到声学回声问题。由于AEC技术非常复杂,需要非常专业的声学和音频处理技术。WebRTC的发布改变了这一局面,而QttAudio SDK的诞生,则完全将回声消除、声学音频处理等复杂技术降至最低,轻松集成,使任何开发者都可以快速的开发出音视频对讲功能的应用。

2 WebRTC简介

WebRTC是谷歌公司2011年发布的一项技术。WebRTC技术主要用于在支持HTML5的浏览器上实现实时音视频对话。功能包括会话初始化协议SIP的实现、音视频编解码和音视频数据处理等等。经过源代码分析,将AEC部分的代码单独摘取出来,并编译成动态链接库,通过jni技术使Java代码调用动态链接库,实现高质量回声消除。

3 WebRTC的AEC模块实现原理

WebRTC的AEC模块采用自适应滤波算法实现回声消除。该算法以输出到扬声器的音频数据为依据,根据现场的回声路径特征,模拟出回声信号。以模拟回声信号为依据,从麦克风采集到的音频数据中滤除模拟回声信号。算法的实现原理如图1所示。y(n)代表远端语音数据,y(n)在交给近端扬声器播放的同时,还送到自适应滤波器,产生回声估计值d^(n)。x(n)代表近端有用语音,麦克风采集的数据是x(n)和y(n)产生的回声d(n)的叠加,即x(n)+d(n)。经滤波处理,最终近端语音数据为:u(n)=x(n)+d(n)-d^(n)。其中e(n)=d(n)-d^(n),称为回声消除误差。理想状态下,e(n)应为0。但现实中e(n)不可能为0。滤波器会根据e(n)的值自动调整滤波系数。

WebRTC 的回声消除技术在 Android 可视对讲程序中的应用

 

4 WebRTC的移植

我们将AEC模块分成了两个大块,第一个大块是音频处理的通用模块WebTRC_audio(该模块编译成功后生成“libwebrtc_spl.so”动态库,供第二大块调用),源代码位于WebRTC源代码根路径下的“common_audio\signal_processing”中。第二大块是WebRTC_aec(该模块编译成功后生成“libwebrtc_aec.so”动态库),源代码位于WebRTC源代码根路径下的“modules\audio_processing\aec”中。
如下是WebRTC_aec模块的编译脚本主要部分:
LOCAL_PATH:=$(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE:=signal_prebuilt
LOCAL_SRC_FILES:=webrtc_signal/libwebrtc_spl.so
include $(PREBUILT_SHARED_LIBRARY)
include $(CLEAR_VARS)
LOCAL_MODULE := libwebrtc_aec
LOCAL_SHARED_LIBRARIES := signal_prebuilt
include $(BUILD_SHARED_LIBRARY)
先看编译脚本的前五行,定义了一个预编译模块,即WebRTC_
a u d i o 块, 然后通过L O C A L _ S H A R E D _ L I B R A R I E S :=signal_prebuilt来导入该模块。

5 应用层多线程实现回声消除

如果想要成功消除回声,必须将近端数据和远端数据之间的时间差控制在合理范围内。在Android应用开发中,使用AudioRecord进行音频采集,使用AudiorTrack进行远端音频播放。协调好这两个类的输入输出时间同步,是回声消除功能实现的重要保障。为了保证时间上的连续性和时间差,需要使用两个单独线程ReadThread和WriteThread来分别进行音频采集和音频播放。另外还有两个单独的线程InTrhead和OutThread来完成数据的接收和发送,还有一个线程AecThread完成回声消除操作。线程之间的数据交换使用队列来完成。

6 使用QttAudio SDK解决回声消除问题

上文可以看出,使用webrtc消除回音是一个很复杂的工作,编译复杂,使用复杂,很不好控制近端与远端时间差值,而且如何跨平台的使用,同时满足android,ios, linux, windows等平台的需求,对于需要开发可视对讲,音视频通话等应用的企业或开发者来说,回音消除问题简直无异于一个巨大的高山拦在面前。

使用QttAudio SDK就很简单了,跨平台使用,10分钟就可轻松集成,再也无需担心回音、噪音、混音等恼人问题,具体使用文档可点击:链接


顺便也是帮他们打广告了

转自:http://www.qttaudio.com/webrtc-android.html

这篇关于WebRTC与QttAudio的回声消除技术在 Android 可视对讲程序中的应用与对比的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/887411

相关文章

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Android Kotlin 高阶函数详解及其在协程中的应用小结

《AndroidKotlin高阶函数详解及其在协程中的应用小结》高阶函数是Kotlin中的一个重要特性,它能够将函数作为一等公民(First-ClassCitizen),使得代码更加简洁、灵活和可... 目录1. 引言2. 什么是高阶函数?3. 高阶函数的基础用法3.1 传递函数作为参数3.2 Lambda

Python实现Microsoft Office自动化的几种方式及对比详解

《Python实现MicrosoftOffice自动化的几种方式及对比详解》办公自动化是指利用现代化设备和技术,代替办公人员的部分手动或重复性业务活动,优质而高效地处理办公事务,实现对信息的高效利用... 目录一、基于COM接口的自动化(pywin32)二、独立文件操作库1. Word处理(python-d

Java常用注解扩展对比举例详解

《Java常用注解扩展对比举例详解》:本文主要介绍Java常用注解扩展对比的相关资料,提供了丰富的代码示例,并总结了最佳实践建议,帮助开发者更好地理解和应用这些注解,需要的朋友可以参考下... 目录一、@Controller 与 @RestController 对比二、使用 @Data 与 不使用 @Dat

Android自定义Scrollbar的两种实现方式

《Android自定义Scrollbar的两种实现方式》本文介绍两种实现自定义滚动条的方法,分别通过ItemDecoration方案和独立View方案实现滚动条定制化,文章通过代码示例讲解的非常详细,... 目录方案一:ItemDecoration实现(推荐用于RecyclerView)实现原理完整代码实现

python中字符串拼接的几种方法及优缺点对比详解

《python中字符串拼接的几种方法及优缺点对比详解》在Python中,字符串拼接是常见的操作,Python提供了多种方法来拼接字符串,每种方法有其优缺点和适用场景,以下是几种常见的字符串拼接方法,需... 目录1. 使用 + 运算符示例:优缺点:2. 使用&nbsjsp;join() 方法示例:优缺点:3

Java中&和&&以及|和||的区别、应用场景和代码示例

《Java中&和&&以及|和||的区别、应用场景和代码示例》:本文主要介绍Java中的逻辑运算符&、&&、|和||的区别,包括它们在布尔和整数类型上的应用,文中通过代码介绍的非常详细,需要的朋友可... 目录前言1. & 和 &&代码示例2. | 和 ||代码示例3. 为什么要使用 & 和 | 而不是总是使

Python循环缓冲区的应用详解

《Python循环缓冲区的应用详解》循环缓冲区是一个线性缓冲区,逻辑上被视为一个循环的结构,本文主要为大家介绍了Python中循环缓冲区的相关应用,有兴趣的小伙伴可以了解一下... 目录什么是循环缓冲区循环缓冲区的结构python中的循环缓冲区实现运行循环缓冲区循环缓冲区的优势应用案例Python中的实现库