FPGA 图像缩放 1G/2.5G Ethernet PCS/PMA or SGMII实现 UDP 网络视频传输，提供工程和QT上位机源码加技术支持

2023-10-21 04:30
文章标签 视频 实现 源码 图像 qt udp 网络 工程 上位 fpga 技术支持 提供 2.5 缩放 传输 1g ethernet pcs pma sgmii

本文主要是介绍FPGA 图像缩放 1G/2.5G Ethernet PCS/PMA or SGMII实现 UDP 网络视频传输，提供工程和QT上位机源码加技术支持，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 1、前言
    • 版本更新说明
    • 免责声明
  • 2、相关方案推荐
    • UDP视频传输--无缩放
    • FPGA图像缩放方案
    • 我这里已有的以太网方案
  • 3、设计思路框架
    • 视频源选择
    • ADV7611 解码芯片配置及采集
    • 动态彩条
    • 跨时钟FIFO
    • 图像缩放模块详解
      • 设计框图
      • 代码框图
      • 2种插值算法的整合与选择
    • UDP协议栈
    • UDP视频数据组包
    • UDP协议栈数据发送
    • UDP协议栈数据缓冲
    • IP地址、端口号的修改
    • Tri Mode Ethernet MAC
    • 1G/2.5G Ethernet PCS/PMA or SGMII
    • QT上位机和源码
  • 4、vivado工程详解
  • 5、工程移植说明
    • vivado版本不一致处理
    • FPGA型号不一致处理
    • 其他注意事项
  • 6、上板调试验证并演示
    • 准备工作
    • ping一下
    • 静态演示
    • 动态演示
  • 7、福利：工程源码获取

1、前言

没玩过UDP协议栈都不好意思说自己玩儿过FPGA，这是CSDN某大佬说过的一句话，鄙人深信不疑。。。本文使用Xilinx的Artix7 FPGA基于1G/2.5G Ethernet PCS/PMA or SGMII实现千兆网UDP视频传输(视频缩放后再传输)，视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用板载的HDMI输入接口(笔记本电脑输入模拟HDMI输入源)；另一种是如果你的手里没有摄像头，或者你的开发板没HDMI输入接口，则可使用代码内部生成的动态彩条模拟摄像头视频，视频源的选择通过代码顶层的`define宏定义进行，上电默认选择HDMI输入接口作为视频输入源；FPGA采集视频后，首先使用纯verilog实现的图像缩放模块对视频进行缩小操作，即从输入的1920x1080分辨率缩小为1280x720，因为我们的QT上位机目前只支持1280x720，所以才需要缩放；使用FDMA将视频缓存到DDR3中，然后将视频读出，根据与QT上位机的通信协议将视频进行UDP数据组包，然后使用我们的UDP协议栈对视频进行UDP数据封装，再将数据送入Tri Mode Ethernet MAC IP，输出GMII格式数据给1G/2.5G Ethernet PCS/PMA or SGMII，1G/2.5G Ethernet PCS/PMA or SGMII在这里充当了网络变压器的角色，所以不需要外接例如RTL8211、B50610等PHY，然后UDP视频通过开发板板载的SFP光口经光模块转网口通过网线传输给电脑主机，电脑端用我们提供的QT上位机采集图像并显示；提供vivado2019.1版本的FPGA工程源码和QT上位机及其源码；

FPGA 图像缩放 1G/2.5G Ethernet PCS/PMA or SGMII实现 UDP 网络视频传输的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；
提供完整的、跑通的工程源码和技术支持；
工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

版本更新说明

此版本为第2版，根据读者的建议，对第1版工程做了如下改进和更新：
1：增加了输入视频动态彩条的选择，有的读者说他手里没有OV5640摄像头，或者摄像头原理图和我的不一致，导致在移植过程中困难很大，基于此，增加了动态彩条，它由FPGA内部产生，不需要外接摄像头就可以使用，使用方法在后文有说明，本例程板载的是HDMI输入接口，没有该接口的朋友可以选择使用动态彩条；
2：优化了FDMA，之前的FDMA内AXI4的数据读写突发长度为256，导致在低端FPGA上带宽不够，从而图像质量不佳，基于此，将FDMA内AXI4的数据读写突发长度改为128；
3：优化了UDP协议栈及其数据缓冲FIFO组的代码，并在博文里增加了这一部分的代码说明；
4：优化了整体代码架构，使得之前看起来杂乱无章的代码变得清爽简洁；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等)，若大佬们觉得有所冒犯，请私信批评教育；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

UDP视频传输–无缩放

我这里有与本博客相似的UDP视频传输方案，但他的输入视频没有进行缩放操作，而是直接缓存后送UDP协议栈输出，博客链接如下：直接点击前往

FPGA图像缩放方案

本博客使用到的图像缩放方案，是我之前发布过的一篇博文的内容，对该图像缩放部分感兴趣的可以参考，博客链接如下：直接点击前往

我这里已有的以太网方案

目前我这里有大量UDP协议的工程源码，包括UDP数据回环，视频传输，AD采集传输等，也有TCP协议的工程，还有RDMA的NIC 10G 25G 100G网卡工程源码，对网络通信有需求的兄弟可以去看看：直接点击前往
其中千兆TCP协议的工程博客如下：
直接点击前往

3、设计思路框架

FPGA工程设计框图如下：
在这里插入图片描述

视频源选择

视频源有两种，分别对应开发者手里有没有摄像头的情况，一种是使用板载的HDMI输入接口；另一种是如果你的手里没有摄像头，或者你的开发板没HDMI输入接口，则可使用代码内部生成的动态彩条模拟摄像头视频，视频源的选择通过代码顶层的宏定义进行，上电默认选择HDMI输入接口作为视频输入源；
视频源的选择通过代码顶层的`define宏定义进行；如下：
在这里插入图片描述
选择逻辑代码部分如下：
在这里插入图片描述
选择逻辑如下：
当(注释) define COLOR_IN时，输入源视频是动态彩条；
当(不注释) define COLOR_IN时，输入源视频是HDMI输入；

ADV7611 解码芯片配置及采集

ADV7611 解码芯片需要i2c配置才能使用，ADV7611 解码芯片配置及采集这两部分均用verilog代码模块实现，代码位置如下：
在这里插入图片描述
代码中配置为1920x1080分辨率；

动态彩条

动态彩条可配置为不同分辨率的视频，视频的边框宽度，动态移动方块的大小，移动速度等都可以参数化配置，我这里配置为辨率1920x1080，动态彩条模块代码位置和顶层接口和例化如下：
在这里插入图片描述
在这里插入图片描述

跨时钟FIFO

跨时钟FIFO的作用是为了解决跨时钟域的问题，当视频不进行缩放时不存在视频跨时钟域问题，但当视频缩小或放大时就存在此问题，用FIFO缓冲可以使图像缩放模块每次读到的都是有效的输入数据，注意，原视频的输入时序在这里就已经被打乱了；

图像缩放模块详解

因为我们的QT上位机目前只支持1280x720，所以才需要缩放，即从输入的1920x1080分辨率缩小为1280x720；用笔记本电脑模拟HDMI视频输入源；

设计框图

本设计将常用的双线性插值和邻域插值算法融合为一个代码中，通过输入参数选择某一种算法；代码使用纯verilog实现，没有任何ip，可在Xilinx、Intel、国产FPGA间任意移植；代码以ram和fifo为核心进行数据缓存和插值实现，设计架构如下：
在这里插入图片描述
视频输入时序要求如下：
在这里插入图片描述
输入像素数据在dInValid和nextDin同时为高时方可改变；
视频输出时序要求如下：
在这里插入图片描述
输出像素数据在dOutValid 和nextdOut同时为高时才能输出；

代码框图

代码使用纯verilog实现，没有任何ip，可在Xilinx、Intel、国产FPGA间任意移植；
图像缩放的实现方式很多，最简单的莫过于Xilinx的HLS方式实现，用opencv的库，以c++语言几行代码即可完成，关于HLS实现图像缩放请参考我之前写的文章HLS实现图像缩放
网上也有其他图像缩放例程代码，但大多使用了IP，导致在其他FPGA器件上移植变得困难，通用性不好；相比之下，本设计代码就具有通用性；代码架构如图；
在这里插入图片描述
其中顶层接口部分如下：
在这里插入图片描述

2种插值算法的整合与选择

本设计将常用的双线性插值和邻域插值算法融合为一个代码中，通过输入参数选择某一种算法；
具体选择参数如下：

input  wire i_scaler_type //0-->bilinear;1-->neighbor

通过输入i_scaler_type 的值即可选择；

输入0选择双线性插值算法；
输入1选择邻域插值算法；

关于这两种算法的数学差异，请参考我之前写的文章HLS实现图像缩放

UDP协议栈

本UDP协议栈方案需配合Xilinx的Tri Mode Ethernet MAC三速网IP一起使用，使用UDP协议栈网表文件，虽看不见源码但可正常实现UDP通信，该协议栈目前并不开源，只提供网表文件，但不影响使用，该协议栈带有用户接口，使得用户无需关心复杂的UDP协议而只需关心简单的用户接口时序即可操作UDP收发，非常简单；
协议栈架构如下：
在这里插入图片描述
协议栈性能表现如下：
1：支持 UDP 接收校验和检验功能，暂不支持 UDP 发送校验和生成；
2：支持 IP 首部校验和的生成和校验，同时支持 ICMP 协议中的 PING 功能，可接收并响应同一个子网内部设备的 PING 请求；
3：可自动发起或响应同一个子网内设备的 ARP 请求，ARP 收发完全自适应。ARP 表可保存同一个子网内部256 个 IP 和 MAC 地址对；
4：支持 ARP 超时机制，可检测所需发送数据包的目的 IP 地址是否可达；
5：协议栈发送带宽利用率可达 93%，高发送带宽下，内部仲裁机制保证 PING 和 ARP 功能不受任何影响；
6：发送过程不会造成丢包；
7：提供64bit位宽AXI4-Stream形式的MAC接口，可与Xilinx官方的千兆以太网IP核Tri Mode Ethernet MAC，以及万兆以太网 IP 核 10 Gigabit Ethernet Subsystem、10 Gigabit Ethernet MAC 配合使用；
有了此协议栈，我们无需关心复杂的UDP协议的实现了，直接调用接口即可使用。。。
本UDP协议栈用户接口发送时序如下：
在这里插入图片描述
本UDP协议栈用户接口接收时序如下：
在这里插入图片描述

UDP视频数据组包

实现UDP视频数据的组包，UDP数据发送必须与QT上位机的接受程序一致，上位机定义的UDP帧格式包括帧头个UDP数据，帧头定义如下：
在这里插入图片描述
FPGA端的UDP数据组包代码必须与上图的数据帧格式对应，否则QT无法解析，代码中定义了数据组包状态机以及数据帧，如下：
在这里插入图片描述
另外，由于UDP发送是64位数据位宽，而图像像素数据是24bit位宽，所以必须将UDP数据重新组合，以保证像素数据的对齐，这部分是整个工程的难点，也是所有FPGA做UDP数据传输的难点；

UDP协议栈数据发送

UDP协议栈具有发送和接收功能，但这里仅用到了发送，此部分代码架构如下：
在这里插入图片描述
UDP协议栈代码组我已经做好，用户可直接拿去使用；

UDP协议栈数据缓冲

这里对代码中用到的数据缓冲FIFO组做如下解释：
由于 UDP IP 协议栈的 AXI-Stream 数据接口位宽为 64bit，而 Tri Mode Ethernet MAC 的 AXI-Stream数据接口位宽为 8bit。因此，要将 UDP IP 协议栈与 Tri Mode Ethernet MAC 之间通过 AXI-Stream 接口互联，需要进行时钟域和数据位宽的转换。实现方案如下图所示：
在这里插入图片描述
收发路径(本设计只用到了发送)都使用了2个AXI-Stream DATA FIFO，通过其中1个FIFO实现异步时钟域的转换，1个FIFO实
现数据缓冲和同步Packet mode功能；由于千兆速率下Tri Mode Ethernet MAC的AXI-Stream数据接口同步时钟信号为125MHz，此时，UDP协议栈64bit的AXI-Stream数据接口同步时钟信号应该为125MHz/(64/8)=15.625MHz，因此，异步
AXI-Stream DATA FIFO两端的时钟分别为125MHz(8bit)，15.625MHz(64bit)；UDP IP协议栈的AXI-Stream接口经过FIFO时钟域转换后，还需要进行数据数据位宽转换，数据位宽的转换通过AXI4-Stream Data Width Converter完成，在接收路径中，进行 8bit 到 64bit 的转换；在发送路径中，进行 64bit 到 8bit 的转换；

IP地址、端口号的修改

UDP协议栈留出了IP地址、端口号的修改端口供用户自由修改，位置如下：
在这里插入图片描述

Tri Mode Ethernet MAC

Tri Mode Ethernet MAC主要是为了适配1G/2.5G Ethernet PCS/PMA or SGMII，因为后者的输入接口是GMII，而Tri Mode Ethernet MAC的输入接口是AXIS，输出接口是GMII，Tri Mode Ethernet MAC配置如下：
在这里插入图片描述
在这里插入图片描述

1G/2.5G Ethernet PCS/PMA or SGMII

1G/2.5G Ethernet PCS/PMA or SGMII在这里充当了网络变压器的角色，所以不需要外接例如RTL8211、B50610等PHY，1G/2.5G Ethernet PCS/PMA or SGMII配置为1G，其与MAC的接口为GMII，配置如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

QT上位机和源码

我们提供和UDP通信协议相匹配的QT抓图显示上位机及其源代码，目录如下：
在这里插入图片描述
我们的QT目前仅支持1280x720分辨率的视频抓图显示，但同时预留了1080P接口，对QT开发感兴趣的朋友可以尝试修改代码以适应1080P，因为QT在这里只是验证工具，不是本工程的重点，所以不再过多赘述，详情请参考资料包的QT源码，位置如下：
在这里插入图片描述

4、vivado工程详解

开发板FPGA型号：Xilinx–Artix7–xc7a35tfgg484-2；
开发环境：Vivado2019.1；
输入：HDMI或动态彩条，分辨率1920x1080；
输出：SFP光口；
工程作用：FPGA基于1G/2.5G Ethernet PCS/PMA or SGMII实现 UDP 网络视频传输；
工程BD如下：
在这里插入图片描述
工程代码架构如下：
在这里插入图片描述
工程的资源消耗和功耗如下：
在这里插入图片描述

5、工程移植说明

vivado版本不一致处理

1：如果你的vivado版本与本工程vivado版本一致，则直接打开工程；
2：如果你的vivado版本低于本工程vivado版本，则需要打开工程后，点击文件–>另存为；但此方法并不保险，最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本；
在这里插入图片描述
3：如果你的vivado版本高于本工程vivado版本，解决如下：
在这里插入图片描述
打开工程后会发现IP都被锁住了，如下：
在这里插入图片描述
此时需要升级IP，操作如下：
在这里插入图片描述
在这里插入图片描述

FPGA型号不一致处理

如果你的FPGA型号与我的不一致，则需要更改FPGA型号，操作如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
更改FPGA型号后还需要升级IP，升级IP的方法前面已经讲述了；

其他注意事项

1：由于每个板子的DDR不一定完全一样，所以MIG IP需要根据你自己的原理图进行配置，甚至可以直接删掉我这里原工程的MIG并重新添加IP，重新配置；
2：根据你自己的原理图修改引脚约束，在xdc文件中修改即可；
3：纯FPGA移植到Zynq需要在工程中添加zynq软核；

6、上板调试验证并演示

准备工作

首先连接开发板和电脑，开发板端连接后如下图：
在这里插入图片描述
然后将你的电脑IP地址改为和代码里规定的IP一致，当然，代码里的IP是可以任意设置的，但代码里的IP修改后，电脑端的IP也要跟着改，我的设置如下：
在这里插入图片描述

ping一下

在开始测试前，我们先ping一下，测试UDP是否连通，如下：
在这里插入图片描述

静态演示

HDMI输入1920x1080缩小到1280x720后UDP网络传输QT上位机显示如下：
在这里插入图片描述
动态彩条1920x1080缩小到1280x720后UDP网络传输QT上位机显示如下：
在这里插入图片描述

动态演示

动态视频演示如下：

FPGA-SFP-UDP-1G-HDMI

7、福利：工程源码获取

福利：工程代码的获取
代码太大，无法邮箱发送，以某度网盘链接方式发送，
资料获取方式：私，或者文章末尾的V名片。
网盘资料如下：
在这里插入图片描述

这篇关于FPGA 图像缩放 1G/2.5G Ethernet PCS/PMA or SGMII实现 UDP 网络视频传输，提供工程和QT上位机源码加技术支持的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/251956。

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台，是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力，在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术，能够处理多种视频流格式，并以多种格式（RTMP、RTSP、HTTP-FLV、WebS
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2