FPGA高端项目:FPGA解码MIPI视频+图像缩放+视频拼接,基于MIPI CSI-2 RX Subsystem架构实现,提供4套工程源码和技术支持

本文主要是介绍FPGA高端项目:FPGA解码MIPI视频+图像缩放+视频拼接,基于MIPI CSI-2 RX Subsystem架构实现,提供4套工程源码和技术支持,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 1、前言
    • 工程概述
    • 免责声明
  • 2、相关方案推荐
    • 我这里已有的 MIPI 编解码方案
    • 本方案在Xilinx Artix7-35T上解码MIPI视频的应用
    • 本方案在Xilinx Artix7-100T上解码MIPI视频的应用
    • 本方案在Xilinx Kintex7上解码MIPI视频的应用
    • 本方案在Xilinx Zynq7000上解码MIPI视频的应用
    • 本方案在Xilinx Zynq UltraScale上解码MIPI视频的应用
    • 本方案的图像缩放应用
    • 纯VHDL代码解码ov5640-MIPI视频方案
    • Video Processing Subsystem图像缩放应用
    • Video Mixer视频拼接应用
  • 3、详细设计方案
    • 设计原理框图
    • OV5640及其配置
    • MIPI-DPHY硬件权电阻方案
    • MIPI CSI-2 RX Subsystem
    • Sensor Demosaic图像格式转换
    • Gammer LUT伽马校正
    • Video Processing Subsystem 介绍
    • VDMA图像缓存
    • Video Mixer介绍
    • AXI4-Stream toVideo Out
    • HDMI输出
    • 工程源码架构
  • 4、vivado工程1详解:Kintex7-35T版本--2路视频缩放拼接
  • 5、vivado工程2详解:Kintex7-35T版本--4路视频缩放拼接
  • 6、vivado工程3详解:Zynq7020版本--2路视频缩放拼接
  • 7、vivado工程4详解:Zynq7020版本--4路视频缩放拼接
  • 8、工程移植说明
    • vivado版本不一致处理
    • FPGA型号不一致处理
    • 其他注意事项
  • 9、上板调试验证
    • 准备工作
    • 输出视频演示
  • 14、福利:工程代码的获取

FPGA高端项目:FPGA解码MIPI视频+图像缩放+视频拼接,基于MIPI CSI-2 RX Subsystem架构实现,提供4套工程源码和技术支持

1、前言

FPGA图像采集领域目前协议最复杂、技术难度最高的应该就是MIPI协议了,MIPI解码难度之高,令无数英雄竞折腰,以至于Xilinx官方不得不推出专用的IP核供开发者使用,不然太高端的操作直接吓退一大批FPGA开发者,就没人玩儿了。

工程概述

本设计基于Xilinx系列FPGA开发板,采集OV5640摄像头的2Lane MIPI视频,OV5640摄像头配置为MIPI模式,引脚经过权电阻方案后接入FPGA的HS BANK的LVDS差分IO;调用Xilinx的MIPI CSI-2 RX Subsystem IP实现MIPI的D-PHY功能,该IP由Xilinx免费提供,将MIPI视频解码后以AXIS视频流格式输出;再调用Xilinx的Sensor Demosaic IP实现RAM转RGB功能; 再调用Xilinx的Gammer LUT IP实现伽马校正功能; 再调用Xilinx官方的Video Processing Subsystem IP核将输入视频进行图像缩放操作,该操作通过Zynq软核SDK软件配置,其本质为通过AXI_Lite 做寄存器配置;再调用Xilinx的VDMA IP实现图像三帧缓存功能;再调用Xilinx的Video Mixer IP实现多路视频拼接操作,该操作通过Zynq软核SDK软件配置,其本质为通过AXI_Lite 做寄存器配置;再调用Xilinx的Video Timing Controller和AXI4-Stream toVideo Out IP实现视频流从AXI4-Stream到VGA时序的转换;最后调用纯verilog代码实现的RGB转HDMI模块将视频以HDMI接口输出显示器显示;针对目前市面上主流的FPGA,本Xilinx系列FPGA解码OV5640-MIPI视频方案一共移植了4套工程源码,详情如下:
在这里插入图片描述
这里说明一下提供的4套工程源码的作用和价值,如下:

工程源码1

FPGA开发板型号为Xilinx–Kintex7–xc7k325tffg900-2,输入视频为OV5640摄像头,MIPI模式,2 Line,RAW10输出像素,分辨率配置为1280x720@60Hz;经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流,再经过Sensor Demosaic实现Bayer转RGB,再经过Gammer LUT实现伽马校正,然后将视频复制为2路,以模拟2路视频源;再经过Video Processing Subsystem 实现图像缩放,将原始视频从1280x720缩放为960x540;再经过VDMA实现视频三帧缓存,图像缓存介质为DDR3,再经过Video Mixer IP实现2路视频拼接;最后视频以HDMI接口输出,输出分辨率为在1920x1080黑色背景下叠加2路缩放拼接后的视频;该方案适用于Xilinx 7系列运行MicroBlaze的FPGA;

工程源码2

FPGA开发板型号为Xilinx–Kintex7–xc7k325tffg900-2,输入视频为OV5640摄像头,MIPI模式,2 Line,RAW10输出像素,分辨率配置为1280x720@60Hz;经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流,再经过Sensor Demosaic实现Bayer转RGB,再经过Gammer LUT实现伽马校正,然后将视频复制为4路,以模拟4路视频源;再经过Video Processing Subsystem 实现图像缩放,将原始视频从1280x720缩放为960x540;再经过VDMA实现视频三帧缓存,图像缓存介质为DDR3,再经过Video Mixer IP实现4路视频拼接;最后视频以HDMI接口输出,输出分辨率为在1920x1080黑色背景下叠加4路缩放拼接后的视频;该方案适用于Xilinx 7系列运行MicroBlaze的FPGA;

工程源码3

FPGA开发板型号为Xilinx–Zynq7020–xc7z020clg400-2,输入视频为OV5640摄像头,MIPI模式,2 Line,RAW10输出像素,分辨率配置为1280x720@60Hz;经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流,再经过Sensor Demosaic实现Bayer转RGB,再经过Gammer LUT实现伽马校正,然后将视频复制为2路,以模拟2路视频源;再经过Video Processing Subsystem 实现图像缩放,将原始视频从1280x720缩放为960x540;再经过VDMA实现视频三帧缓存,图像缓存介质为DDR3,再经过Video Mixer IP实现2路视频拼接;最后视频以HDMI接口输出,输出分辨率为在1920x1080黑色背景下叠加2路缩放拼接后的视频;该方案适用于Xilinx Zynq7000系列运行Zynq的FPGA;

工程源码4

FPGA开发板型号为Xilinx–Zynq7020–xc7z020clg400-2,输入视频为OV5640摄像头,MIPI模式,2 Line,RAW10输出像素,分辨率配置为1280x720@60Hz;经过MIPI CSI-2 RX Subsystem实现MIPI解码并输出AXI4-Stream视频流,再经过Sensor Demosaic实现Bayer转RGB,再经过Gammer LUT实现伽马校正,然后将视频复制为4路,以模拟4路视频源;再经过Video Processing Subsystem 实现图像缩放,将原始视频从1280x720缩放为960x540;再经过VDMA实现视频三帧缓存,图像缓存介质为DDR3,再经过Video Mixer IP实现4路视频拼接;最后视频以HDMI接口输出,输出分辨率为在1920x1080黑色背景下叠加4路缩放拼接后的视频;该方案适用于Xilinx Zynq7000系列运行Zynq的FPGA;

本文详细描述了Xilinx 系列FPGA解码MIPI视频+图像缩放+视频拼接的设计方案,工程代码编译通过后上板调试验证,可直接项目移植,适用于在校学生做毕业设计、研究生项目开发,也适用于在职工程师做项目开发,可应用于医疗、军工等行业的数字成像和图像传输领域;整个工程调用Zynq软核做IP的配置,Zynq的配置在Vitis SDK里以C语言软件代码的形式运行,所以整个工程包括FPGA逻辑设计和Vitis SDK软件设计两部分,需要具备FPGA和嵌入式C语言的综合能力,不适合初学者或者小白;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;

关于MIPI协议,请自行搜索,csdn就有很多大佬讲得很详细,我就不多写这块了;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等),若大佬们觉得有所冒犯,请私信批评教育;部分模块源码转载自上述网络,版权归原作者所有,如有侵权请联系我们删除;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案,主要是MIPI解码的,既有纯vhdl实现的MIPI解码,也有调用Xilinx官方IP实现的MIPI解码,既有2line的MIPI解码,也有4line的MIPI解码,既有4K分辨率的MIPI解码,也有小到720P分辨率的MIPI解码,既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码,还有基于Lattice平台FPGA的MIPI解码,后续还将继续推出更过国产FPGA的MIPI解码方案,毕竟目前国产化方案才是未来主流,后续也将推出更多MIPI编码的DSI方案,努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此,我专门建了一个MIPI编解码的专栏,并将MIPI编解码的博客都放到了专栏里整理,对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看,专栏地址如下:
点击直接前往专栏

本方案在Xilinx Artix7-35T上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Zynq7000中端FPGA上的应用,想要直接应用于Xilinx Artix7-35T 系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,以下是博客地址:
点击直接前往

本方案在Xilinx Artix7-100T上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Zynq7000中端FPGA上的应用,想要直接应用于Xilinx Artix7-100T 系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,以下是博客地址:
点击直接前往

本方案在Xilinx Kintex7上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Artix7-100T低端FPGA上的应用,想要直接应用于Xilinx Kintex7系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,以下是博客地址:
点击直接前往

本方案在Xilinx Zynq7000上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Kintex7中端FPGA上的应用,想要直接应用于Xilinx Zynq7000系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,里面包括了Zynq7020、Zynq7030、Zynq7035、Zynq7045、Zynq7100等平台;以下是博客地址:
点击直接前往

本方案在Xilinx Zynq UltraScale上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Artix7-100T低端FPGA上的应用,想要直接应用于Xilinx Zynq UltraScale系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,里面包括了Zynq UltraScale XCZU2CG、Zynq UltraScale XCZU3EG、Zynq UltraScale XCZU4EV、Zynq UltraScale XCZU7EV、Zynq UltraScale XCZU9EG等平台;以下是博客地址:
点击直接前往

本方案的图像缩放应用

基于MIPI CSI-2 RX Subsystem架构实现的MIPI视频解码,还可以加上图像缩放应用,使得其应用范围更广,之前写过一片啊博客;以下是博客地址:
点击直接前往

纯VHDL代码解码ov5640-MIPI视频方案

与上述基于MIPI CSI-2 RX Subsystem方案不同,本博也提供基于纯VHDL代码解码ov5640-MIPI视频的方案,该方案的区别与优势在于可以看到VHDL源码而非单纯的IP,能看到源码的意思就是你可以任意修改源码以适配自己的项目,其意义与价值无需多言,该方案目前已在Xilinx Zynq7020上移植成功,共有两套工程源码,一套是单路ov5640-MIPI视频解码后HDMI输出;另一套是4路ov5640-MIPI视频解码经缩放拼接后HDMI 4分屏输出;感兴趣的可以参考我之前的博客;
单路MIPI解码输出博客地址如下:
点击直接前往
4路MIPI解码缩放拼接输出博客地址如下:
点击直接前往

Video Processing Subsystem图像缩放应用

本设计采用Vivado2022.2版本设计,该版本属于高版本,不能使用HLS2019.2及其以下版本生成的HLS IP,所以也就不能使用本博客自研的HLS图像缩放IP,只能使用Video Processing Subsystem,关于Video Processing Subsystem,之前写过一篇博客,可以参考学习,以下是博客地址:
点击直接前往

Video Mixer视频拼接应用

关于Video Mixer,之前写过一篇博客,可以参考学习,以下是博客地址:
点击直接前往

3、详细设计方案

设计原理框图

设计原理框图如下:
在这里插入图片描述

OV5640及其配置

输入视频采用廉价的OV5640摄像头模组,配置为MIPI模式,2 Lane,数据格式为RAW10,线速率为1000Mbps,视频分辨率为1280X720,一个时钟一个像素,OV5640需要SCCB总线配置才能运行,该总线等价于I2C总线,纯FPGA的工程调用AXI-GPIO模拟I2C,利用Vitis软件配置OV5640;Zynq的工程使用PS端自带的i2c片内外资源,利用Vitis软件配置OV5640,配置部分代码有C语言实现,具体参考Vitis程序;

MIPI-DPHY硬件权电阻方案

使用Xilinx官方推荐的权电阻硬件方案将输入的差分MIPI对恢复HS和PL,原理图部分截图如下:
在这里插入图片描述
注意:权电阻方案只在低速率的MIPI模式下可用,高速率的MIPI请用专用芯片实现,比如MC20001,MC系列这种方案可以支持到2Gbps/Lane速率以上,只要FPGA的IO速率够用;

MIPI CSI-2 RX Subsystem

调用Xilinx的MIPI CSI-2 RX Subsystem IP实现MIPI的D-PHY功能,该IP由Xilinx免费提供,将MIPI视频解码后以AXIS视频流格式输出;该IP不需要额外的SDK软件配置,调用和配置如下:
在这里插入图片描述
在这里插入图片描述
由于调用了Xilinx的MIPI CSI-2 RX Subsystem IP核,所以性能上就取决于你的FPGA型号,理论上FPGA越高端,支持的IO线速率或者GT高速接口线速率就越高,就能跑速率更高的MIPI视频;
该IP适应性极强,支持的MIPI相机性能参数如下:
在这里插入图片描述
在这里插入图片描述
并且,在越高端的FPGA型号上,该IP支持的高端性能也越多;
由于调用了Xilinx的MIPI CSI-2 RX Subsystem IP核,NIPI视频解码的稳定性很好,且使用及其简单,缺点是看不到源码,出了问题后不好排查,只能在输入输出接口添加ila进行逐级追踪;
本方案使用的FPGA型号为Xilinx zynq 7000系列,属于中端FPGA的MIPI解码应用,再小型的Artix7-35T或者Spartan7、Spartan6等就已经不能使用MIPI CSI-2 RX Subsystem了;

以工程源码3为例,MIPI CSI-2 RX Subsystem占用逻辑资源如下:
在这里插入图片描述

Sensor Demosaic图像格式转换

调用Xilinx的Sensor Demosaic IP实现RAM转RGB功能,该IP通过Vitis的C代码软件配置,Sensor Demosaic调用和C代码软件配置代码截图如下:
在这里插入图片描述
在这里插入图片描述

Gammer LUT伽马校正

调用Xilinx的Gammer LUT IP实现伽马校正功能,该IP通过Vitis的C代码软件配置,Gammer LUT调用和C代码软件配置代码截图如下:
在这里插入图片描述
在这里插入图片描述

Video Processing Subsystem 介绍

由于工程所用到的IP都是常用IP,所以这里重点介绍一下Video Processing Subsystem;
Video Processing Subsystem有缩放、去隔行、颜色空间转换等功能,这里仅使用图像缩放功能;其特点如下:
优点1:适用于Xilinx所有系列的FPGA器件和所有的Vivado版本;
优点2:支持最大分辨率:8K,即可以处理高达8K的视频;
优点3:输入视频格式:AXI4-Stream,方便对接Xilinx图像处理套路的相关IP;
优点4:输出视频格式:AXI4-Stream,方便对接Xilinx图像处理套路的相关IP;
优点5:模块占用的FPGA逻辑资源更小,相比于自己写的HLS图像缩放而言,官方的Video Processing Subsystem资源占用大约减小30%左右,且更高效:
注意!!!!
注意!!!!
注意!!!!
注意!!!!
缺点1:需要SDK软件配置,其本质为通过AXI_Lite 做寄存器配置,设计难度现对复杂,对新手小白不太友好;
缺点2:Xilinx官方提供的Video Processing Subsystem IAP并不能实现任意尺寸的图像缩放,只能在IAP中视频分辨率查找表范围内进行缩放操作,如果想要实现自定义任意尺寸缩放,需要修改Xilinx官方提供的API源代码,对新手小白极其友好,有此类需求的朋友可以联系博主,提供私人定制服务,也就是我帮你修改Xilinx官方提供的API源代码,以实现自定义任意尺寸缩放操作;

Video Processing Subsystem逻辑资源如下,请谨慎评估你的FPGA资源情况;
在这里插入图片描述
Video Processing Subsystem IP配置如下:这里配置为双线性插值图像缩放算法;
在这里插入图片描述
在这里插入图片描述

VDMA图像缓存

调用Xilinx的VDMA IP实现图像三帧缓存功能,该IP通过Vitis的C代码软件配置;VDMA调用和C代码软件配置代码截图如下:
在这里插入图片描述

Video Mixer介绍

这里重点介绍一下Video Mixer IP;
支持最大分辨率:8K,即可以处理高达8K的视频;
支持最多16层视频拼接叠加,即最多可拼接16路视频;
输入视频格式:AXI4-Stream;
输出视频格式:AXI4-Stream;
需要SDK软件配置,其本质为通过AXI_Lite 做寄存器配置;
提供自定义的配置API,通过调用该库函数即可轻松使用,具体参考SDK代码;
模块占用的FPGA逻辑资源更小,相比于自己写的HLS视频拼接而言,官方的Video Mixer资源占用大约减小30%左右,且更高效:
以工程源码3的2路视频拼接为例,Video Mixer逻辑资源如下,请谨慎评估你的FPGA资源情况;
在这里插入图片描述

AXI4-Stream toVideo Out

再调用Xilinx的Video Timing Controller和AXI4-Stream toVideo Out IP实现视频流从AXI4-Stream到VGA时序的转换;Video Timing Controller配置为1920x1080@60Hz,输出分辨率为在1920x1080黑色背景下叠加的2路或4路缩放拼接后的视频;这两个IP不需要软件配置;Video Timing Controller和AXI4-Stream toVideo Out调用截图如下:
在这里插入图片描述

HDMI输出

最后用纯verilog实现的HDMI发送模块将视频输出显示器显示,该IP最大输出分辨率只支持1920*1080@60Hz;IP调用截图如下:
在这里插入图片描述

工程源码架构

该工程由vivado Block Design设计和SDK软件设计构成;
vivado Block Design设计主要是MIPI解码、ISP处理、图像缓存、图像输出等逻辑部分设计;
SDK软件设计主要是对Block Design设计中使用到的各种IP进行初始化和配置;
以工程源码3的2路视频缩放拼接为例,vivado Block Design设计架构如下:
在这里插入图片描述
以工程源码3的2路视频缩放拼接为例,综合后的工程代码架构如下:
在这里插入图片描述
以工程源码3的2路视频缩放拼接为例,Vitis SDK C语言软件是为了配置FPGA调用的IP,用VItis打开即可查看,代码内容如下:
在这里插入图片描述
由于工程中用到了HLS生成的IP,Sensor Demosaic和Gammer LUT,可能会出现综合编译失败,或者警告后在Vitis SDK里找不到设备ID等情况,此时需要更改电脑系统时间或者打上官方补丁解决这件事情,具体方法参考这位大佬博文:
直接点击前往

4、vivado工程1详解:Kintex7-35T版本–2路视频缩放拼接

开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg900-2;
开发环境:Vivado2022.2;
输入:OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz;
输出:HDMI ,分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频;
图像缩放方案:Xilinx–Video Processing Subsystem方案;
图像缩放实例:1280x720缩放为960x540;
视频拼接方案:Xilinx–Video Mixer方案;
视频拼接实例:2路视频拼接;
方案应用:Xilinx 系列FPGA解码MIPI视频+图像缩放;
工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

5、vivado工程2详解:Kintex7-35T版本–4路视频缩放拼接

开发板FPGA型号:Xilinx–Kintex7–xc7k325tffg900-2;
开发环境:Vivado2022.2;
输入:OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz;
输出:HDMI ,分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频;
图像缩放方案:Xilinx–Video Processing Subsystem方案;
图像缩放实例:1280x720缩放为960x540;
视频拼接方案:Xilinx–Video Mixer方案;
视频拼接实例:4路视频拼接;
方案应用:Xilinx 系列FPGA解码MIPI视频+图像缩放;
工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

6、vivado工程3详解:Zynq7020版本–2路视频缩放拼接

开发板FPGA型号:Xilinx–Zynq7020–xc7z020clg400-2;
开发环境:Vivado2022.2;
输入:OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz;
输出:HDMI ,分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频;
图像缩放方案:Xilinx–Video Processing Subsystem方案;
图像缩放实例:1280x720缩放为960x540;
视频拼接方案:Xilinx–Video Mixer方案;
视频拼接实例:2路视频拼接;
方案应用:Xilinx 系列FPGA解码MIPI视频+图像缩放;
工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

7、vivado工程4详解:Zynq7020版本–4路视频缩放拼接

开发板FPGA型号:Xilinx–Zynq7020–xc7z020clg400-2;
开发环境:Vivado2022.2;
输入:OV5640摄像头–MIPI–2 Line–RAW10-1280x720@60Hz;
输出:HDMI ,分辨率1920x1080@60Hz黑色背景下叠加的缩放后的视频;
图像缩放方案:Xilinx–Video Processing Subsystem方案;
图像缩放实例:1280x720缩放为960x540;
视频拼接方案:Xilinx–Video Mixer方案;
视频拼接实例:4路视频拼接;
方案应用:Xilinx 系列FPGA解码MIPI视频+图像缩放;
工程代码架构请参考第3章节的《工程源码架构》小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述

8、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
在这里插入图片描述
3:如果你的vivado版本高于本工程vivado版本,解决如下:
在这里插入图片描述
打开工程后会发现IP都被锁住了,如下:
在这里插入图片描述
此时需要升级IP,操作如下:
在这里插入图片描述
在这里插入图片描述

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

9、上板调试验证

准备工作

需要准备的器材如下:
FPGA开发板,可以自己准备,也可以购买本博主使用的同款开发板,省事儿;
MIPI-OV5640摄像头,可以自己准备,也可以购买本博主使用的同款开发板,省事儿;
HDMI显示器;
MIPI-OV5640摄像头与开发板连接如下:
在这里插入图片描述
然后上电并下载bit测试;

输出视频演示

以工程源码3为例,2路视频缩放拼接输出如下:

FPGA解码MIPI视频+缩放+2路拼接-ov5640

以工程源码4为例,4路视频缩放拼接输出如下:

FPGA解码MIPI视频+缩放+4路拼接-ov5640

14、福利:工程代码的获取

福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
在这里插入图片描述
此外,有很多朋友给本博主提了很多意见和建议,希望能丰富服务内容和选项,因为不同朋友的需求不一样,所以本博主还提供以下服务:
在这里插入图片描述

这篇关于FPGA高端项目:FPGA解码MIPI视频+图像缩放+视频拼接,基于MIPI CSI-2 RX Subsystem架构实现,提供4套工程源码和技术支持的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1020265

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

如何用Docker运行Django项目

本章教程,介绍如何用Docker创建一个Django,并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口,映射到宿主机的80端口上。 docker run -itd --name python311 -p

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听