基于NXP iMX6 多路摄像头连接测试

2024-04-19 11:08
文章标签 连接 摄像头 测试 多路 nxp imx6

本文主要是介绍基于NXP iMX6 多路摄像头连接测试，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

By Toradex秦海

1). 简介

随着嵌入式处理器性能的提升，嵌入式设备在安全，机器视觉等方面的应用也越来越广发，本文就基于NXP iMX6 ARM处理器演示多种摄像头的连接应用，iMX6处理器支持多种摄像头接口连接，比如Parallel Camera Interface，MIPI/CSI-2 串行摄像头接口，USB接口，网络接口等。

 

本文所演示的ARM平台来自于Toradex 基于NXP iMX6Q ARM处理器的Apalis iMX6Q ARM嵌入式平台。

 

2. 准备

a). Apalis iMX6Q ARM核心版配合Ixora载板，连接调试串口UART1（载板X22）到开发主机方便调试，连接HDMI显示器用于摄像头输出显示。更多关于Apalis iMX6配合Ixora载板的说明请参考Datasheet和开发上手指南。

 

b). 本文测试所使用的摄像头如下：

./ Toradex OV5640 MIPI/CSI-2 摄像头模块，连接到载板X28

./ 海康模拟摄像头，通过Toradex ACA模块连接到载板X14

./ FHD USB 摄像头，连接到载板X8 USB接口

./ 海康萤石 CS-C3C-1FR网络摄像头，通过网线连接到载板X11网口

 

c). Apalis iMX6Q 安装Toradex 最新Linux BSP V2.8b5，系统中已经包含了本文测试所需要的Gstreamer相关组件，详细安装方法请参考这里。

./ 关于OV5640 摄像头Linux下配置使用说明请参考这里，本文不再赘述。

./ 关于通过ACA模块连接模拟摄像头的配置使用说明请参考这里，本文不再赘述。

 

 

3). FHD USB摄像头测试

a). 先单独进行FHD USB摄像头模块测试，所使用的Camera Sensor为Aptina MI5100 (注：已经被OnSemi收购，对应指标产品请到OnSemi网站搜索)，连接到Apalis iMX6会自动配置UVC驱动，无需另行配置。

 

b). 首先使用 V4L2命令查看摄像头支持的格式，如下所示，此摄像头可以支持MJPG格式和RAW格式输出，不过对于800x600以上的高分辨率输出，RAW模式只能以非常低的帧率输出，因此对于本文测试的1080P输出就要使用MJPG格式输出了。

-----------------------

root@apalis-imx6:~# v4l2-ctl --device=/dev/video3 --list-formats-ext

ioctl: VIDIOC_ENUM_FMT

        Index       : 0

        Type        : Video Capture

        Pixel Format: 'MJPG' (compressed)

        Name        : Motion-JPEG

                Size: Discrete 1600x1200

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 2592x1944

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 2048x1536

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 1920x1080

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1280x1024

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 1280x720

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1024x768

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 800x600

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 640x480

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1600x1200

                        Interval: Discrete 0.067s (15.000 fps)

 

        Index       : 1

        Type        : Video Capture

        Pixel Format: 'YUYV'

        Name        : YUYV 4:2:2

                Size: Discrete 1600x1200

                        Interval: Discrete 0.200s (5.000 fps)

                Size: Discrete 2592x1944

                        Interval: Discrete 0.333s (3.000 fps)

                Size: Discrete 2048x1536

                        Interval: Discrete 0.250s (4.000 fps)

                Size: Discrete 1920x1080

                        Interval: Discrete 0.200s (5.000 fps)

                Size: Discrete 1280x1024

                        Interval: Discrete 0.111s (9.000 fps)

                Size: Discrete 1280x720

                        Interval: Discrete 0.200s (5.000 fps)

                Size: Discrete 1024x768

                        Interval: Discrete 0.100s (10.000 fps)

                Size: Discrete 800x600

                        Interval: Discrete 0.050s (20.000 fps)

                Size: Discrete 640x480

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1600x1200

                        Interval: Discrete 0.200s (5.000 fps)

-----------------------

 

c). 测试基本的摄像头capture并全屏显示

-----------------------

// RAW 格式

$ gst-launch-1.0 imxv4l2src device=/dev/video3 ! 'video/x-raw, framerate=5/1, width=(int)1920, height=(int)1080, format=(string)YUY2' ! imxv4l2sink

CPU占用率：~40% x 1core of 4cores

// MJPG 格式

$ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dvideosink sync=false

CPU占用率：~50% x 1core of 4cores

-----------------------

 

为了尽可能降低CPU的占用率，我们尽可能的使用iMX gstreamer专用的元件，可以调用VPU/GPU等硬件资源来加速，查询所有iMX相关原件可以通过下面命令

$ gst-inspect-1.0 |grep imx

 

d). 针对视频监控的场景往往需要在捕获的摄像头视频流上面打上时间戳，在播放的同时也保存成为文件，下面就测试这个应用场景。

./ 这里我们使用基于imx硬件加速的imxg2dclockoverlay 元件来实现打时间戳

./ 打时间戳后单独进行摄像头视频流播放操作

-----------------------

$ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxg2dvideosink sync=false

CPU占用率：~49% x 1core of 4cores

-----------------------

 

./ 打时间戳后单独进行摄像头视频流保存成文件操作

-----------------------

$ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4

CPU占用率：~30% x 1core of 4cores

-----------------------

 

./ 打时间戳后同时进行摄像头视频流保存成文件和播放操作

-----------------------

$ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform  ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! tee name=splitter ! queue ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4 splitter. ! queue ! imxg2dvideosink sync=false

CPU占用率：~53% x 1core of 4cores

-----------------------

 

./ 录制下来的 test.mp4文件可以通过下面pipeline进行回放

-----------------------

gst-launch-1.0 filesrc location=/home/root/test.mp4 typefind=true ! h264parse ! vpudec ! imxv4l2sink

-----------------------

 

 

4). 海康网络摄像头测试

a). 首先通过海康萤石管理软件配置摄像头网络配置为固定IP - 10.20.1.99/255.255.255.0

 

b). 然后将Apalis iMX6 eth0 网络配置为固定IP - 10.20.1.98/255.255.255.0，然后和摄像头确保能够ping通。

 

c). 通过下面pipeline通过rtsp捕获摄像头适配流并播放，admin对应的password在每个摄像头标签上面有提供。

-----------------------

$ gst-launch-1.0 rtspsrc location=rtsp://admin:password@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink

CPU占用率：~18% x 1core of 4cores

-----------------------

当然，也同样可以将捕获的视频流保存成本地文件，这里就不赘述了。

 

 

5). 四路摄像头同时播放示例

a). 基于上面两个章节的测试后，我们现在来进行四路摄像头同时播放显示测试，当然此时显示窗口就不能全屏了，而是要对应调整大小和位置。

 

b). 首先测试在屏幕左上角显示Full HD USB摄像头输出

-----------------------

$ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480

-----------------------

 

c). 然后测试在屏幕左下角显示网络摄像头输出

-----------------------

$ gst-launch-1.0 rtspsrc location=rtsp://admin:XIYFYO@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink window-width=960 window-height=480 window-y-coord=480

-----------------------

 

d). 然后测试在屏幕右上角显示OV5640 MIPI/CSI-2摄像头输出

-----------------------

$ gst-launch-1.0 imxv4l2src device=/dev/video2 ! capsfilter caps="video/x-raw, width=1920, height=1080, framerate=30/1" ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480 window-x-coord=960

-----------------------

 

e). 然后测试在屏幕右下角显示模拟摄像头输出

-----------------------

$ gst-launch-1.0 -v imxv4l2videosrc ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink window-width=960 window-height=480 window-x-coord=960 window-y-coord=480

-----------------------

 

f). 最后测试上面四路摄像头同时输出

本文用如下测试脚本进行测试，当然也可以将上面pipeline都在一个gst-launch里面运行，不过可能需要适当增加queue。

-----------------------

https://github.com/simonqin09/Apalis_iMX6Q_Camera_Demo/blob/master/camera.sh

CPU占用率：~50% x 3core of 4cores

-----------------------

显示效果如下图，另外需要注意由于这个测试除了占用比较大的CPU资源，也大量使用了VPU，GPU等硬件资源，因此需要考虑对Apalis iMX6进行良好散热才能保证运行稳定。

image001.png​                                               

 

 

7). 总结

如上述示例，iMX6处理器已经可以支持丰富的摄像头资源，为了保证工作高效和稳定，在可能的情况下，尽量采用IMX专用的gstreamer元件。

这篇关于基于NXP iMX6 多路摄像头连接测试的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/917365。

相关文章

【Altium】查找PCB上未连接的网络

【Altium】查找PCB上未连接的网络

【更多软件使用问题请点击亿道电子官方网站】 1、文档目标： PCB设计后期检查中找出没有连接的网络 应用场景：PCB设计后期，需要检查是否所有网络都已连接布线。虽然未连接的网络会有飞线显示，但是由于布线后期整板布线密度较高，虚连，断连的网络用肉眼难以轻易发现。用DRC检查也可以找出未连接的网络，如果PCB中DRC问题较多，查找起来就不是很方便。使用PCB Filter面板来达成目的相比DRC
阅读更多...
Java面试题：通过实例说明内连接、左外连接和右外连接的区别

Java面试题：通过实例说明内连接、左外连接和右外连接的区别

在 SQL 中，连接（JOIN）用于在多个表之间组合行。最常用的连接类型是内连接（INNER JOIN）、左外连接（LEFT OUTER JOIN）和右外连接（RIGHT OUTER JOIN）。它们的主要区别在于它们如何处理表之间的匹配和不匹配行。下面是每种连接的详细说明和示例。 表示例 假设有两个表：Customers 和 Orders。 Customers CustomerIDCus
阅读更多...
vue同页面多路由懒加载-及可能存在问题的解决方式

vue同页面多路由懒加载-及可能存在问题的解决方式

先上图，再解释 图一是多路由页面，图二是路由文件。从图一可以看出每个router-view对应的name都不一样。从图二可以看出层路由对应的组件加载方式要跟图一中的name相对应，并且图二的路由层在跟图一对应的页面中要加上components层，多一个s结尾，里面的的方法名就是图一路由的name值，里面还可以照样用懒加载的方式。 页面上其他的路由在路由文件中也跟图二是一样的写法。 附送可能存在
阅读更多...
将一维机械振动信号构造为训练集和测试集（Python）

将一维机械振动信号构造为训练集和测试集（Python）

从如下链接中下载轴承数据集。 https://www.sciencedirect.com/science/article/pii/S2352340918314124 import numpy as npimport scipy.io as sioimport matplotlib.pyplot as pltimport statistics as statsimport pandas
阅读更多...
BD错误集锦4——IDEA编程连接hbase失败，put操作一直没有通过，并且无异常信息

BD错误集锦4——IDEA编程连接hbase失败，put操作一直没有通过，并且无异常信息

参考文章：https://blog.csdn.net/ZJ18712852367/article/details/81938524
阅读更多...
神经网络第一篇：激活函数是连接感知机和神经网络的桥梁

神经网络第一篇：激活函数是连接感知机和神经网络的桥梁

前面发布的文章介绍了感知机，了解了感知机可以通过叠加层表示复杂的函数。遗憾的是，设定合适的、能符合预期的输入与输出的权重，是由人工进行的。从本章开始，将进入神经网络的学习，首先介绍激活函数，因为它是连接感知机和神经网络的桥梁。如果读者认知阅读了本专题知识，相信你必有收获。 感知机数学表达式的简化 前面我们介绍了用感知机接收两个输入信号的数学表示如下：
阅读更多...
编译测试后出现“发现不明确的匹配”错误

编译测试后出现“发现不明确的匹配”错误

原文链接：http://blog.163.com/zhaoyanping_1125/blog/static/201329153201204218533/ 错误提示： 【“/”应用程序中的服务器错误。  分析器错误 说明: 在分析向此请求提供服务所需资源时出错。请检查下列特定分析错误详细信息并适当地修改源文件。  分析器错误信息: 发现不明确的匹配。】   这个问题发生原因一般情况是
阅读更多...
PHP ODBC：连接数据库的桥梁

PHP ODBC：连接数据库的桥梁

PHP ODBC：连接数据库的桥梁 PHP ODBC（Open Database Connectivity）是一个允许PHP应用程序连接到各种数据库管理系统的扩展。它为PHP提供了一个标准的数据库访问接口，使得开发者可以编写不依赖于特定数据库系统的代码。本文将详细介绍PHP ODBC的概念、工作原理、使用方法以及在实际开发中的应用。 什么是PHP ODBC？ PHP ODBC扩展使得PHP能
阅读更多...
RODNet安装测试

RODNet安装测试

项⽬地址： GitHub - yizhou-wang/RODNet: RODNet: Radar object detection network 搭建环境并配置RODNet 1. 参考README.md搭建并配置环境 准备数据集 1. 本实验使⽤ ROD2021 dataset. 百度⽹盘链接：百度网盘 请输入提取码 密码：slxy 2. 使⽤这个script来重新组织文件。 具体形
阅读更多...
Mockito测试

Mockito测试

Mockito 一 mockito基本概念 Mock测试是单元测试的重要方法之一，而Mockito作为一个流行的Mock框架，简单易学，且有非常简洁的API，测试代码的可读性很高。 Mock测试就是在测试过程中，对于一些不容易构造(如HttpServletRequest必须在Servlet容器中才能构造出来)或者说获取比较复杂的对象(如JDBC中的ResultSet对象)
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2