FPGA实现画中画的一种方法

        最近事情特别多，一直抽不出多少时间来更新博客，画中画这是很早之前做的一个案例，这里分享出来主要是整理一下思路，也希望能给做相关方面的同行一些参考或是启发；

        首先大略说下项目需求，通过MIPI采集两个Sensor过来的视频流，经过一系列处理如中值滤波，去马赛克等处理，视频最终通过HDMI输出时需要呈现PIP(画中画)的方式；进行画中画处理时，可以视为两个sensor已经同步，sensor1的视频特性为1920*1080P@60fps，sensor2的视频特性为400*400@60fps，输出视频特性为1920*1080P@60fps，要求sensor2的视频叠加至sensor1的视频上，且叠加的位置可进行动态配置；

       因为涉及到视频重构，必然需要用到存储器进行视频缓存，设计系统中使用两个DDR3并联，DDR3的工作频率为800MHZ，使用xilinx的IP核来管理物理器件DDR3，默认burst为8，也即一次完成8个像素数据写入或读出。Sensor1和Sensor2视频流的时钟和DDR3用户侧时钟不一致，向DDR3写入视频流时通过异步FIFO进行时钟域同步，也可以通过双端口RAM进行同步，控制稍微复杂性，但程序健壮性会更好；每个Sensor的视频流在DDR3中设立不同的region区，因为输入帧频和输出帧频是一致的，ddr中分别只存储一帧视频。

      为了避免帧与帧之间的干扰，写入FIFO最好每帧进行复位清一下内容，输入时通过两个异步FIFO把视频帧数据写入DDR中，从DDR中读出视频数据进行处理时也用两个FIFO做跨时钟域同步。输出侧使用外同步接口时序，使用两个计数器hcnt和vcnt自建1920*1080P的时序控制流，对于Sensor1的视频流，进行整帧读出，假设整个视频数据都要进行显示，对于sensor2的视频流，计数到要显示的位置时才产生FIFO的读使能信号，从FIFO中读取要显示的视频数据，然后输出时对要显示的数据进行处理，这是实现PIP最关键一步，在控制流程上有个优先级考虑，当sensor2的输出数据信号有效时，无视sensor1的输出数据，用Sensor2的数据作为输出，只在Sensor2输出数据无效时，才输出sensor1的数据，从而实现视频的画中画处理。在不同的位置进行叠加，只需要改变sensor2显示区的位置即可。如图所示，sensor1的视频一直有从DDR缓存中进行输出，无论视频数据是否最终输出，Sensor2由于像素小，只能在确定的位置开始从DDR输出，通过对使能区域的处理，实现视频的叠加显示；