基于IMX214+ZYNQ XC7Z100的1080P双目视觉智能平台

2024-01-23 08:30

本文主要是介绍基于IMX214+ZYNQ XC7Z100的1080P双目视觉智能平台,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

一、双目视觉智能平台概述

        双目视觉智能平台以双路CMOS传感器IMX214+ XC7Z100 FPGA为基础,支持双路1080P 60fs视频输入, ZYNQ FPGA 支持FPGA预处理和双ARM计算。软件支持双目摄像头采集及QT图像显示,ARM接口管理及丰富的图像处理软件。

二、硬件资源1 FMC 双目MIPI模块FL0214

        FMC 双目MIPI模块FL0214为MIPI接口的2路1300万像素的CMOS摄像头模块。 FL0214模块带有2个MIPI接口的摄像头模组,摄像头模组采用的是索尼(SONY)公司的CMOS感光芯片IMX214,摄像头最高分别率为4224(水平)x3120(垂直)。摄像头的MIPI信号通过MC20901芯片转换为LVDS信号到FMC接口供FPGA采样。

        模块有一个标准的LPC的FMC接口,用于连接FPGA开发板, FMC的连接器型号为:ASP_134604_01

        FL0214模块实物照片如下:

 

 

双目视觉,智能平台,IMX214+ZYNQ XC7Z100 ,双目摄像头采集,图像处理,FMC 双目MIPI模块,摄像头模组,CMOS感光芯片, XC7Z100,IMX214

                        FL0214模块实物图

 

 2.1 FL0214模块的参数说明

        以下为FL0214 双目MIPI摄像头模块的详细参数:

  • CMOS感光芯片:SONY IMX214
  • 输出分别率:13Mega-Pixel (4208 × 3120)@30fps,4K2K@30fps, 1080p@60帧;
  • 图像输出格式:RAW10/8, COMP8/6;
  • 调焦距离:10CM ~ 无穷大
  • 调焦方式: 电机马达自动调焦;
  • 可视角度:80.7° ± 3° (Diag)
  • 摄像头输出:CSI-2串行数据输出(MIPI 4 Lane, 兼容D-PHY标准V1.1)
  • 摄像头配置接口:I2C;
  • MC20901驱动芯片:电平转换(MIPI D-PHY->LVDS):
  • 工作温度:-20°~65°;

 

2.2 FL0214模块的结构图       

 

 

FL0214 双目MIPI摄像头尺寸结构图

2.3 FL0214模块原理框图

        FL0214模块的原理设计框图如下:

 

 

        关于IMX214摄像头和MIPI D-PHY芯片的电路具体参考设计请参考摄像头的资料和芯片手册。

2.4模块FMC LPC的引脚分配:

        下面只列了电源和接口的信号,GND的信号没有列出,具体用户可以参考原理图。

Pin Number

 Signal Name

Description

C35

+12V

12V电源输入

C37

+12V

12V电源输入

D32

+3.3V

3.3V电源输入

C34

GA0

EEPROM地址位0位

D35

GA1

EEPROM地址位1位

D9

CSI1_CMOS_LP_CLK_N

第一路摄像头CMOS时钟负极输出

D8

CSI1_CMOS_LP_CLK_P

第一路摄像头CMOS时钟正极输出

G16

CSI1_CMOS_LP0_N

第一路摄像头CMOS LANE0数据负极输出

G15

CSI1_CMOS_LP0_P

第一路摄像头CMOSLANE0数据正极输出

G13

CSI1_CMOS_LP1_N

第一路摄像头CMOS LANE1数据负极输出

G12

CSI1_CMOS_LP1_P

第一路摄像头CMOSLANE1数据正极输出

G19

CSI1_CMOS_LP2_N

第一路摄像头CMOS LANE2数据负极输出

G18

CSI1_CMOS_LP2_P

第一路摄像头CMOSLANE2数据正极输出

G10

CSI1_CMOS_LP3_N

第一路摄像头CMOS LANE3数据负极输出

G9

CSI1_CMOS_LP3_P

第一路摄像头CMOSLANE3数据正极输出

G7

CSI1_LVDS_CLK_N

第一路摄像头LVDS时钟负极输出

G6

CSI1_LVDS_CLK_P

第一路摄像头LVDS时钟正极输出

H14

CSI1_LVDS_HS0_N

第一路摄像头LVDS LANE0数据负极输出

H13

CSI1_LVDS_HS0_P

第一路摄像头LVDS LANE0数据正极输出

H11

CSI1_LVDS_HS1_N

第一路摄像头LVDS LANE1数据负极输出

H10

CSI1_LVDS_HS1_P

第一路摄像头LVDS LANE1数据正极输出

H17

CSI1_LVDS_HS2_N

第一路摄像头LVDS LANE2数据负极输出

H16

CSI1_LVDS_HS2_P

第一路摄像头LVDS LANE2数据正极输出

H8

CSI1_LVDS_HS3_N

第一路摄像头LVDS LANE3数据负极输出

H7

CSI1_LVDS_HS3_P

第一路摄像头LVDS LANE3数据正极输出

G21

CSI1_OTP_B

第一路摄像头编程接口

D26

CSI1_RST_N

第一路摄像头复位信号输入

D21

CSI2_CMOS_LP_CLK_N

第二路摄像头CMOS时钟负极输出

D20

CSI2_CMOS_LP_CLK_P

第二路摄像头CMOS时钟正极输出

G34

CSI2_CMOS_LP0_N

第二路摄像头CMOS LANE0数据负极输出

G33

CSI2_CMOS_LP0_P

第二路摄像头CMOSLANE0数据正极输出

G28

CSI2_CMOS_LP1_N

第二路摄像头CMOS LANE1数据负极输出

G27

CSI2_CMOS_LP1_P

第二路摄像头CMOSLANE1数据正极输出

G37

CSI2_CMOS_LP2_N

第二路摄像头CMOS LANE2数据负极输出

G36

CSI2_CMOS_LP2_P

第二路摄像头CMOSLANE2数据正极输出

G25

CSI2_CMOS_LP3_N

第二路摄像头CMOS LANE3数据负极输出

G24

CSI2_CMOS_LP3_P

第二路摄像头CMOSLANE3数据正极输出

C23

CSI2_LVDS_CLK_N

第二路摄像头LVDS时钟负极输出

C22

CSI2_LVDS_CLK_P

第二路摄像头LVDS时钟正极输出

H29

CSI2_LVDS_HS0_N

第二路摄像头LVDS LANE0数据负极输出

H28

CSI2_LVDS_HS0_P

第二路摄像头LVDS LANE0数据正极输出

H26

CSI2_LVDS_HS1_N

第二路摄像头LVDS LANE1数据负极输出

H25

CSI2_LVDS_HS1_P

第二路摄像头LVDS LANE1数据正极输出

H32

CSI2_LVDS_HS2_N

第二路摄像头LVDS LANE2数据负极输出

H31

CSI2_LVDS_HS2_P

第二路摄像头LVDS LANE2数据正极输出

H23

CSI2_LVDS_HS3_N

第二路摄像头LVDS LANE3数据负极输出

H22

CSI2_LVDS_HS3_P

第二路摄像头LVDS LANE3数据正极输出

C27

CSI2_OTP_B

第二路摄像头编程接口

D27

CSI2_RST_N

第一路摄像头复位信号输入

D14

FMC_CSI1_SCL

第一路摄像头IIC总线时钟

D15

FMC_CSI1_SDA

第二路摄像头IIC总线数据

H37

FMC_CSI2_SCL

第二路摄像头IIC总线时钟

H38

FMC_CSI2_SDA

第二路摄像头IIC总线数据

C34

GA0

EEPROM的I2C地址0

D35

GA1

EEPROM的I2C地址1

C30

SCL

EEPROM的I2C时钟

C31

SDA

EEPROM的I2C数据

G39

VADJ

VADJ电源输入

H40

VADJ

VADJ电源输入

三、 硬件资源2-基于XC7Z100 的图像处理底板

 

 

1.1主要性能和优势

  • 使用 Zynq-7000 SoC 对嵌入式应用进行快速原型设计以实现优化
  • 硬件、设计工具、 IP、以及预验证参考设计
  • 演示嵌入式设计,面向视频通道
  • 存储接口
  • 1GB DDR3 组件存储
  • 1GB DDR3 SODIM 存储器
  • 支持包含 Dual ARM Cortex-A9 核处理器的嵌入式处理
  • 使用 10-100-1000 Mbps Ethernet (RGMII​) 开发网络应用
  • 使用 HDMI 输出实现视频显示应用
  • 扩展 I/O, 包含 FPGA Mezzanine Card (FMC) 接口

 四、 软件资源

软件支持:

  • 支持从microSD 卡加载ubuntu系统
  • 支持利用QSPI模式配置程序
  • 支持RS232连接计算机串口通信
  • 支持外接HDMI连接显示器,并支持键盘,鼠标等外接设备进行演示
  • 支持Msata存储设备,支持高速数据存储功能 (SATA存储单独定制开发)
  • 平台引入了Xilinx公司最新的SDSoC™ 开发工具,提供了嵌入式C/C++ 应用开发体验,包括了Eclipse IDE和完整的设计环境,支持Zynq® All Programmable SoC开发,同时集成了Vivado设计环境。
  • FMC上接高速ADC,DAC子卡,CameraLink子卡等,进行功能扩展以及客户的定制需求,并可提供演示程序

 

教程不断更新:

  • 开发板简介和检测
  • ZYNQ简介
  • Vivado开发环境
  • PL的“Hello World”LED实验
  • HDMI输出实验
  • PL端DDR3读写测试实验
  • GTX收发器误码率测试IBERT实验
  • 体验ARM,裸机输出“Hello World”
  • PS点亮PL的LED灯
  • 以太网实验(LWIP)
  • 自定义IP实验
  • 使用VDMA驱动HDMI显示
  • 固化程序
  • 安装虚拟机和Ubuntu系统
  • Ubuntu安装Linux版Vivado软件
  • 使用SDK开发Linux程序
  • Linux下GPIO实验
  • Linux下的HDMI显示
  • 使用Debian8桌面系统
  • QSPI 和EMMCE启动Linux

五、 双目视觉案例

        在VIVADO软件开发环境里下载双目测试例程到开发板,我们可以通过开发板的HDMI输出接口显示双目的视频图像到HDMI显示器上,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

这篇关于基于IMX214+ZYNQ XC7Z100的1080P双目视觉智能平台的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/635808

相关文章

Python实现word文档内容智能提取以及合成

《Python实现word文档内容智能提取以及合成》这篇文章主要为大家详细介绍了如何使用Python实现从10个左右的docx文档中抽取内容,再调整语言风格后生成新的文档,感兴趣的小伙伴可以了解一下... 目录核心思路技术路径实现步骤阶段一:准备工作阶段二:内容提取 (python 脚本)阶段三:语言风格调

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka

在Android平台上实现消息推送功能

《在Android平台上实现消息推送功能》随着移动互联网应用的飞速发展,消息推送已成为移动应用中不可或缺的功能,在Android平台上,实现消息推送涉及到服务端的消息发送、客户端的消息接收、通知渠道(... 目录一、项目概述二、相关知识介绍2.1 消息推送的基本原理2.2 Firebase Cloud Me

使用Python实现表格字段智能去重

《使用Python实现表格字段智能去重》在数据分析和处理过程中,数据清洗是一个至关重要的步骤,其中字段去重是一个常见且关键的任务,下面我们看看如何使用Python进行表格字段智能去重吧... 目录一、引言二、数据重复问题的常见场景与影响三、python在数据清洗中的优势四、基于Python的表格字段智能去重

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

Python3脚本实现Excel与TXT的智能转换

《Python3脚本实现Excel与TXT的智能转换》在数据处理的日常工作中,我们经常需要将Excel中的结构化数据转换为其他格式,本文将使用Python3实现Excel与TXT的智能转换,需要的可以... 目录场景应用:为什么需要这种转换技术解析:代码实现详解核心代码展示改进点说明实战演练:从Excel到

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设