FPGA解码MIPI视频:Xilinx Artix7-35T低端FPGA,基于MIPI CSI-2 RX Subsystem架构实现,提供工程源码和技术支持

本文主要是介绍FPGA解码MIPI视频:Xilinx Artix7-35T低端FPGA,基于MIPI CSI-2 RX Subsystem架构实现,提供工程源码和技术支持,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 1、前言
    • 免责声明
  • 2、相关方案推荐
    • 我这里已有的 MIPI 编解码方案
    • 本方案在Xilinx Artix7-100T上解码MIPI视频的应用
    • 本方案在Xilinx Kintex7上解码MIPI视频的应用
    • 本方案在Xilinx Zynq7000上解码MIPI视频的应用
    • 本方案在Xilinx Zynq UltraScale上解码MIPI视频的应用
    • 纯VHDL代码解码ov5640-MIPI视频方案
  • 3、本 MIPI CSI2 模块性能及其优缺点
  • 4、详细设计方案
    • 设计原理框图
    • OV5640及其配置
    • 权电阻硬件方案
    • MIPI CSI-2 RX Subsystem
    • 图像缓存
    • VGA时序
    • isp处理
    • 视频输出
    • 工程源码架构
  • 5、vivado工程详解
  • 6、工程移植说明
    • vivado版本不一致处理
    • FPGA型号不一致处理
    • 其他注意事项
  • 7、上板调试验证
    • 准备工作
    • RAW10原始图像输出演示
    • isp处理后的RGB888图像输出演示
  • 8、福利:工程代码的获取

FPGA解码MIPI视频:Xilinx Artix7-35T低端FPGA,基于MIPI CSI-2 RX Subsystem架构实现,提供工程源码和技术支持

1、前言

FPGA图像采集领域目前协议最复杂、技术难度最高的应该就是MIPI协议了,MIPI解码难度之高,令无数英雄竞折腰,以至于Xilinx官方不得不推出专用的IP核供开发者使用,不然太高端的操作直接吓退一大批FPGA开发者,就没人玩儿了。

本设计基于Xilinx的 Artix7-35T低端FPGA开发板采集OV5640摄像头的2Line MIPI视频,本方案最大的价值就是在低端的、资源紧凑型的、项目预算不高等条件下选用的Xilinx Artix7-35T FPGA上实现了MIPI视频解码,解决了行业目前在该领域的空白;OV5640摄像头配置为MIPI模式,RAW10数据格式,MIPI引脚经过权电阻分离出LP电路后接入FPGA的HS BANK的LVDS差分IO;调用Xilinx的MIPI CSI-2 RX Subsystem IP实现MIPI的D_PHY+CSI_RX2功能,该IP由Xilinx免费提供,将MIPI视频解码后以AXIS视频流格式输出;此时的视频是原始的RAW10数据,输出路径有两种,一种是经DDR缓存后依然以RAW10数据输出HDMI显示器,只不过图像为黑白色;另一种是DDR缓存后再经过Bayer转RGB和伽马校正(isp处理)后以RGB888数据输出HDMI显示器,区别是图像为彩色的;两种路径通过isp模块的parameter参数设置;默认使用isp处理;针对目前市面上主流的FPGA,本Xilinx系列FPGA解码OV5640-MIPI视频方案一共移植了15套工程源码,本博文介绍其中基于Artix7-35T低端FPGA 的1套工程,详情如下:
在这里插入图片描述
本文详细描述了Xilinx Artix7-35T低端FPGA解码MIPI视频的设计方案,工程代码编译通过后上板调试验证,可直接项目移植,适用于在校学生做毕业设计、研究生项目开发,也适用于在职工程师做项目开发,可应用于医疗、军工等行业的数字成像和图像传输领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;
关于MIPI协议,请自行搜索,csdn就有很多大佬讲得很详细,我就不多写这块了;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

我这里已有的 MIPI 编解码方案

我这里目前已有丰富的基于FPGA的MIPI编解码方案,主要是MIPI解码的,既有纯vhdl实现的MIPI解码,也有调用Xilinx官方IP实现的MIPI解码,既有2line的MIPI解码,也有4line的MIPI解码,既有4K分辨率的MIPI解码,也有小到720P分辨率的MIPI解码,既有基于Xilinx平台FPGA的MIPI解码也有基于Altera平台FPGA的MIPI解码,还有基于Lattice平台FPGA的MIPI解码,后续还将继续推出更过国产FPGA的MIPI解码方案,毕竟目前国产化方案才是未来主流,后续也将推出更多MIPI编码的DSI方案,努力将FPGA的MIPI编解码方案做成白菜价。。。
基于此,我专门建了一个MIPI编解码的专栏,并将MIPI编解码的博客都放到了专栏里整理,对FPGA编解码MIPI有项目需求或学习兴趣的兄弟可以去我的专栏看看,专栏地址如下:
点击直接前往专栏

本方案在Xilinx Artix7-100T上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Artix7-35T低端FPGA上的应用,想要直接应用于Xilinx Artix7-100T 系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,以下是博客地址:
点击直接前往

本方案在Xilinx Kintex7上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Artix7-35T低端FPGA上的应用,想要直接应用于Xilinx Kintex7系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,以下是博客地址:
点击直接前往

本方案在Xilinx Zynq7000上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Artix7-35T低端FPGA上的应用,想要直接应用于Xilinx Zynq7000系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,里面包括了Zynq7020、Zynq7030、Zynq7035、Zynq7045、Zynq7100等平台;以下是博客地址:
点击直接前往

本方案在Xilinx Zynq UltraScale上解码MIPI视频的应用

本方案适应于Xilinx系列FPGA平台,针对目前市面上主流的FPGA,本博将本方案分别移植到了Xilinx 的Artix7、Kintex7、Zynq7000、Zynq UltraScale等平台共计16套工程源码,本文讲述的是在Artix7-35T低端FPGA上的应用,想要直接应用于Xilinx Zynq UltraScale系列FPGA上的ov5640-MIPI视频解码应用的读者,可以参考我之前写得博客,里面包括了Zynq UltraScale XCZU2CG、Zynq UltraScale XCZU3EG、Zynq UltraScale XCZU4EV、Zynq UltraScale XCZU7EV、Zynq UltraScale XCZU9EG等平台;以下是博客地址:
点击直接前往

纯VHDL代码解码ov5640-MIPI视频方案

与上述基于MIPI CSI-2 RX Subsystem方案不同,本博也提供基于纯VHDL代码解码ov5640-MIPI视频的方案,该方案的区别与优势在于可以看到VHDL源码而非单纯的IP,能看到源码的意思就是你可以任意修改源码以适配自己的项目,其意义与价值无需多言,该方案目前已在Xilinx Zynq7020上移植成功,共有两套工程源码,一套是单路ov5640-MIPI视频解码后HDMI输出;另一套是4路ov5640-MIPI视频解码经缩放拼接后HDMI 4分屏输出;感兴趣的可以参考我之前的博客;
单路MIPI解码输出博客地址如下:
点击直接前往
4路MIPI解码缩放拼接输出博客地址如下:
点击直接前往

3、本 MIPI CSI2 模块性能及其优缺点

由于调用了Xilinx的MIPI CSI-2 RX Subsystem IP核,所以性能上就取决于你的FPGA型号,理论上FPGA越高端,支持的IO线速率或者GT高速接口线速率就越高,就能跑速率更高的MIPI视频;
该IP适应性极强,支持的MIPI相机性能参数如下:
在这里插入图片描述
在这里插入图片描述
并且,在越高端的FPGA型号上,该IP支持的高端性能也越多;
由于调用了Xilinx的MIPI CSI-2 RX Subsystem IP核,NIPI视频解码的稳定性很好,且使用及其简单,缺点是看不到源码,出了问题后不好排查,只能在输入输出接口添加ila进行逐级追踪;
本方案使用的FPGA型号为Xilinx Artix7-100T,属于低端FPGA的MIPI解码应用,再小型的Artix7-35T或者Spartan7、Spartan6等就已经不能使用MIPI CSI-2 RX Subsystem了;

4、详细设计方案

本设计基于Xilinx的 Artix7-35T低端FPGA开发板,采集OV5640摄像头的2Line MIPI视频,OV5640摄像头配置为MIPI模式,RAW10数据格式,引脚经过权电阻方案后接入FPGA的HS BANK的LVDS差分IO;调用Xilinx的MIPI CSI-2 RX Subsystem IP实现MIPI的D_PHY+CSI_RX2功能,该IP由Xilinx免费提供,将MIPI视频解码后以AXIS视频流格式输出;此时的视频是原始的RAW10数据,输出路径有两种,一种是经DDR缓存后依然以RAW10数据输出HDMI显示器,只不过图像为黑白色;另一种是DDR缓存后再经过Bayer转RGB和伽马校正后以RGB888数据输出HDMI显示器,区别是图像为彩色的,两种路径通过isp模块的parameter参数设置;

设计原理框图

设计原理框图如下:
在这里插入图片描述

OV5640及其配置

输入视频采用廉价的OV5640摄像头模组,配置为MIPI模式,2 Line,数据格式为RAW10,线速率为1000Mbps,视频分辨率为1280*720,一个时钟一个像素,OV5640需要SCCB总线配置才能运行,该总线等价于I2C总线,本设计采用纯verilog实现的i2c控制器配置OV5640,代码位置如下:
在这里插入图片描述

权电阻硬件方案

使用Xilinx官方推荐的权电阻硬件方案将输入的差分MIPI对恢复HS和PL,原理图部分截图如下:
在这里插入图片描述
注意:权电阻方案只在低速率的MIPI模式下可用,高速率的MIPI请用专用芯片实现,比如MC20001,MC系列这种方案可以支持到2Gbps/Lane速率以上,只要FPGA的IO速率够用;

MIPI CSI-2 RX Subsystem

调用Xilinx的MIPI CSI-2 RX Subsystem IP实现MIPI的D-PHY功能,该IP由Xilinx免费提供,将MIPI视频解码后以AXIS视频流格式输出;调用和配置如下:
在这里插入图片描述
在这里插入图片描述

图像缓存

调用Xilinx的MIG与DDR3交互形成图像缓存架构,调用Xilinx FIFO封装用户接口,对图像进行乒乓操作,形成2帧图像缓存,输入数据位宽为16bit,输出数据位宽为16bit,代码中有详细中文注释,很好理解和阅读,如果打开后注释为乱码,请用notepad++打开就好了;代码位置如下:
在这里插入图片描述

VGA时序

VGA时序模块产生1280x720@60Hz的分辨率视频,即用于控制视频从DDR3中读出,又作为VGA时序输出给HDMI输出模块,代码位置如下:
在这里插入图片描述

isp处理

由于OV5640-MIPI视频输出的是RAW10视频,所以需要isp处理,包括Bayer转RGB888和伽马校正,当然,isp并非一定要做,有的项目需求恰好就是要输出显示RAW10原视频,所以在代码里我专门设置了ISP_BYPASS参数,该参数配置说明如下:
parameter ISP_BYPASS = 0:视频进行isp处理,输出RGB888视频;
parameter ISP_BYPASS = 1:视频不进行isp处理,输出RAW10原视频;
isp模块代码位置如下:
在这里插入图片描述
默认采用isp处理后的RGB888视频输出,模块例化如下:
在这里插入图片描述

视频输出

视频从FDMA读出后,经过VGA时序模块和HDMI发送模块后输出显示器,代码位置如下:
在这里插入图片描述
VGA时序配置为1920X1080,HDMI发送模块采用verilog代码手写,可以用于FPGA的HDMI发送应用,关于这个模块,请参考我之前的博客,博客地址:点击直接前往

工程源码架构

工程源码架构如下:
在这里插入图片描述

5、vivado工程详解

开发板FPGA型号:Xilinx–Artix7–xc7a35tfgg484-2;
开发环境:Vivado2022.2;
输入:OV5640摄像头–MIPI–2 Line–RAW10-1280x720;
输出:HDMI ,分辨率720P;
应用:Xilinx Artix7-35T低端FPGA解码MIPI视频;
工程代码架构请参考第4章节“设计思路框架”的“工程源码架构”小节内容;
工程的资源消耗和功耗如下:
在这里插入图片描述
在这里插入图片描述
可以看到,在资源相当紧张的Artix7-35T低端FPGA上,本方案消耗的逻辑资源是很少的,还剩余了大量资源可供用户其他使用,足以证明本方案的先进性;

6、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件–>另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
在这里插入图片描述
3:如果你的vivado版本高于本工程vivado版本,解决如下:
在这里插入图片描述
打开工程后会发现IP都被锁住了,如下:
在这里插入图片描述
此时需要升级IP,操作如下:
在这里插入图片描述
在这里插入图片描述

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

7、上板调试验证

准备工作

需要准备的器材如下:
FPHA开发板;
OV5640摄像头;
HDMI显示器;

RAW10原始图像输出演示

该输出方案需要在代码中改为如下才能输出,如下:
在这里插入图片描述
输出如下:

RAW10原始图像输出

isp处理后的RGB888图像输出演示

该输出方案需要在代码中改为如下才能输出,如下:
在这里插入图片描述
输出如下:

RGB888图像输出演示

8、福利:工程代码的获取

福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
在这里插入图片描述

这篇关于FPGA解码MIPI视频:Xilinx Artix7-35T低端FPGA,基于MIPI CSI-2 RX Subsystem架构实现,提供工程源码和技术支持的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/674070

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time