腾讯技术开放日 | 全面解析腾讯会议的视频前处理算法

在视频通话中，视频前处理模块可以有效提升用户参与实时视频时的体验，并保护用户隐私，主要包括虚拟背景、美颜和视频降噪等。腾讯会议在视频前处理场景下，遇到哪些技术难点，如何进行优化？【腾讯技术开放日 · 云视频会议专场】中，腾讯云高级工程师李峰从算法和工程优化的角度进行了分享。

视频前处理场景探索

视频是连续的，在转播的时候需要经过编码和解码的流程，所以视频处理需要分为前处理和后处理。所谓前处理就是指编码前的视频处理，比如背景虚化。所谓后处理就是指解码后的视频处理，比如视频超分。

有哪些前处理算法可以应用在视频会议的处理场景下呢？理想情况下，多多益善，能够想到的都可以落地，但是考虑到会议场景的计算资源非常有限，而且要不影响其它高优先级的服务，所以需要挖掘用户最迫切的需求，利用有限的计算资源为用户提供更好的视频体验。

数据分析发现会议场景下大家开摄像头的比例不是很高，我们分析主要有三个原因：第一担心泄漏隐私，第二不够自信，第三画质不好。针对这几个点腾讯会议陆续推出了虚拟背景、美颜、视频降噪、暗场景增强等一系列的处理算法。

虚拟背景可以很好的保护用户隐私，创造一个公平的环境，这里贴了一个用户的反馈，这是一个在线课堂老师反馈虚拟背景可以为许多孩子取消歧视，让家庭背景、家庭条件不再成为孩子的负担。美颜的话，相信大家都是非常了解，也是经常用的，它可以鼓励大家参与到视频通话的场景中来。视频降噪可以降低摄像头的噪声，消除灯光造成闪烁的问题，进而提升视频画面的质量。暗场景增强可以提升暗光场景下的视频体验。

虚拟背景的算法探索与实践

所谓虚拟背景是指允许用户在使用腾讯会议期间上传自定义的图片或者视频，作为视频场景下的虚拟背景或者将视频背景模糊掉，满足用户保护隐私和个性化视频的需求。

虚拟背景的框架主要包括数据、模型、损失、训练和前向推理引擎五大模块。

对于深度学习任务，大家都知道数据的数量和质量是效果的关键。由于腾讯会议中的数据非常敏感࿰