海思SDK学习（2）海思媒体处理软件平台MMP(1)

海思处理软件平台MMP

1、概述

海思提供的媒体处理软件平台(Media Process Platform,简称MPP)，可支持应用软件快速
开发。该平台对应用软件屏蔽了芯片相关的复杂的底层处理，并对应用软件直接提供
MPI（MPP Programe Interface）接口完成相应功能。该平台支持应用软件快速开发以下
功能：输入视频捕获、H.265/H.264/MJPEG/JPEG/MPEG4 编码、H.264/MPEG4/MPEG2
解码、视频输出显示、视频图像前处理（包括去噪、增强、锐化、Deinterlace）、编码
码流叠加OSD、视频侦测分析、智能分析、音频捕获及输出、音频编解码等功能。

2、系统层次架构

• 硬件层
  硬件层由 Hi35xx 芯片加上必要的外围器件构成。外围器件包括Flash、DDR（Double Data-Rate）、视频Sensor 或AD、音频AD 等。
• 操作系统层
  基于 Linux 3.4 的OS 系统。
• 媒体处理平台
  基于操作系统层，控制芯片完成相应的媒体处理功能。它对应用层屏蔽了硬件处理细节，并为应用层提供API 接口完成相应功能。
• 其他驱动
  除媒体处理平台外,海思为Hi35xx 芯片的其他相关硬件处理单元提供了相应的驱动,包括GMAC、SDIO、I2C、USB、SSP 等驱动。
• 应用层
  基于海思媒体处理平台及其他驱动，由用户开发的应用软件系统。

3、海思媒体处理平台架构

主要分为视频输入（VI）、视频处理（VPSS）、视频编码（VENC）、视频解码（VDEC）、视频输出(VO)、视频侦测分析(VDA)、音频输入(AI)、音频输出(AO)、音频编码（AENC）、音频解码（ADEC）、区域管理（REGION）等模块。主要的处理流程介绍如下：

• VI 模块捕获视频图像，可对其做剪切、缩放等处理，并输出多路不同分辨率的图像数据。
• 解码模块对编码后的视频码流进行解码，并将解析后的图像数据送 VPSS 进行图像处理或直接送VO 显示。可对H264/MPEG4/MPEG2 格式的视频码流进行解码。
• VPSS 模块接收VI 和解码模块发送过来的图像，可对图像进行去噪、图像增强、锐化等处理，并实现同源输出多路不同分辨率的图像数据用于编码、预览或抓拍。
• 编码模块接收 VI 捕获并经VPSS 处理后输出的图像数据，可叠加用户通过Region模块设置的OSD 图像，然后按不同协议进行编码并输出相应码流。
• VDA 模块接收VI 的输出图像，并进行移动侦测和遮挡侦测，最后输出侦测分析结果。
• VO 模块接收VPSS 处理后的输出图像，可进行播放控制等处理，最后按用户配置的输出协议输出给外围视频设备。
• AI 模块捕获音频数据，然后AENC 模块支持按多种音频协议对其进行编码，最后输出音频码流。
• 用户从网络或外围存储设备获取的音频码流可直接送给 ADEC 模块，ADEC 支持解码多种不同的音频格式码流，解码后数据送给AO 模块即可播放声音。

杂知识点：
图像降噪：在现实生活中，看到的数字图像，在数字化和传输过程中由于常受到成像设备与外部环境噪声干扰等影响，把这些图像称为含噪图像或者叫噪声图像。减少数字图像中噪声的过程称为图像降噪，有时候又称为图像去噪。
图像增强：图像增强的目标是改进图片的质量，例如增加对比度，去掉模糊和噪声，修正几何畸变等
图像锐化：(image sharpening)是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，分为空间域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征。这种滤波方法提高了地物边缘与周围像元之间的反差，因此也被称为边缘增强
OSD （屏幕菜单式调节方式）:即屏幕菜单式调节方式。一般是按Menu键后屏幕弹出的显示器各项调节项目信息的矩形菜单，可通过该菜单对显示器各项工作指标包括色彩、模式、几何形状等进行调整，从而达到最佳的使用状态。
移动侦测:运动侦测（MD）侦测 VDA 通道接收的视频的运动状态，并输出运动侦测结果。包含每帧图像的宏块 SAD 值信息、运动区域（OBJ）信息和整帧报警像素个数
遮挡侦测:遮挡检测（OD）检测 VDA 通道接收的视频是否出现被遮挡现象，并输出遮挡检测结果。
参考链接1 链接2