基于NXP iMX6 多路摄像头连接测试

2024-04-19 11:08
文章标签 连接 摄像头 测试 多路 nxp imx6

本文主要是介绍基于NXP iMX6 多路摄像头连接测试，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

By Toradex秦海

1). 简介

随着嵌入式处理器性能的提升，嵌入式设备在安全，机器视觉等方面的应用也越来越广发，本文就基于NXP iMX6 ARM处理器演示多种摄像头的连接应用，iMX6处理器支持多种摄像头接口连接，比如Parallel Camera Interface，MIPI/CSI-2 串行摄像头接口，USB接口，网络接口等。

 

本文所演示的ARM平台来自于Toradex 基于NXP iMX6Q ARM处理器的Apalis iMX6Q ARM嵌入式平台。

 

2. 准备

a). Apalis iMX6Q ARM核心版配合Ixora载板，连接调试串口UART1（载板X22）到开发主机方便调试，连接HDMI显示器用于摄像头输出显示。更多关于Apalis iMX6配合Ixora载板的说明请参考Datasheet和开发上手指南。

 

b). 本文测试所使用的摄像头如下：

./ Toradex OV5640 MIPI/CSI-2 摄像头模块，连接到载板X28

./ 海康模拟摄像头，通过Toradex ACA模块连接到载板X14

./ FHD USB 摄像头，连接到载板X8 USB接口

./ 海康萤石 CS-C3C-1FR网络摄像头，通过网线连接到载板X11网口

 

c). Apalis iMX6Q 安装Toradex 最新Linux BSP V2.8b5，系统中已经包含了本文测试所需要的Gstreamer相关组件，详细安装方法请参考这里。

./ 关于OV5640 摄像头Linux下配置使用说明请参考这里，本文不再赘述。

./ 关于通过ACA模块连接模拟摄像头的配置使用说明请参考这里，本文不再赘述。

 

 

3). FHD USB摄像头测试

a). 先单独进行FHD USB摄像头模块测试，所使用的Camera Sensor为Aptina MI5100 (注：已经被OnSemi收购，对应指标产品请到OnSemi网站搜索)，连接到Apalis iMX6会自动配置UVC驱动，无需另行配置。

 

b). 首先使用 V4L2命令查看摄像头支持的格式，如下所示，此摄像头可以支持MJPG格式和RAW格式输出，不过对于800x600以上的高分辨率输出，RAW模式只能以非常低的帧率输出，因此对于本文测试的1080P输出就要使用MJPG格式输出了。

-----------------------

root@apalis-imx6:~# v4l2-ctl --device=/dev/video3 --list-formats-ext

ioctl: VIDIOC_ENUM_FMT

        Index       : 0

        Type        : Video Capture

        Pixel Format: 'MJPG' (compressed)

        Name        : Motion-JPEG

                Size: Discrete 1600x1200

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 2592x1944

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 2048x1536

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 1920x1080

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1280x1024

                        Interval: Discrete 0.067s (15.000 fps)

                Size: Discrete 1280x720

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1024x768

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 800x600

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 640x480

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1600x1200

                        Interval: Discrete 0.067s (15.000 fps)

 

        Index       : 1

        Type        : Video Capture

        Pixel Format: 'YUYV'

        Name        : YUYV 4:2:2

                Size: Discrete 1600x1200

                        Interval: Discrete 0.200s (5.000 fps)

                Size: Discrete 2592x1944

                        Interval: Discrete 0.333s (3.000 fps)

                Size: Discrete 2048x1536

                        Interval: Discrete 0.250s (4.000 fps)

                Size: Discrete 1920x1080

                        Interval: Discrete 0.200s (5.000 fps)

                Size: Discrete 1280x1024

                        Interval: Discrete 0.111s (9.000 fps)

                Size: Discrete 1280x720

                        Interval: Discrete 0.200s (5.000 fps)

                Size: Discrete 1024x768

                        Interval: Discrete 0.100s (10.000 fps)

                Size: Discrete 800x600

                        Interval: Discrete 0.050s (20.000 fps)

                Size: Discrete 640x480

                        Interval: Discrete 0.033s (30.000 fps)

                Size: Discrete 1600x1200

                        Interval: Discrete 0.200s (5.000 fps)

-----------------------

 

c). 测试基本的摄像头capture并全屏显示

-----------------------

// RAW 格式

$ gst-launch-1.0 imxv4l2src device=/dev/video3 ! 'video/x-raw, framerate=5/1, width=(int)1920, height=(int)1080, format=(string)YUY2' ! imxv4l2sink

CPU占用率：~40% x 1core of 4cores

// MJPG 格式

$ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dvideosink sync=false

CPU占用率：~50% x 1core of 4cores

-----------------------

 

为了尽可能降低CPU的占用率，我们尽可能的使用iMX gstreamer专用的元件，可以调用VPU/GPU等硬件资源来加速，查询所有iMX相关原件可以通过下面命令

$ gst-inspect-1.0 |grep imx

 

d). 针对视频监控的场景往往需要在捕获的摄像头视频流上面打上时间戳，在播放的同时也保存成为文件，下面就测试这个应用场景。

./ 这里我们使用基于imx硬件加速的imxg2dclockoverlay 元件来实现打时间戳

./ 打时间戳后单独进行摄像头视频流播放操作

-----------------------

$ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxg2dvideosink sync=false

CPU占用率：~49% x 1core of 4cores

-----------------------

 

./ 打时间戳后单独进行摄像头视频流保存成文件操作

-----------------------

$ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4

CPU占用率：~30% x 1core of 4cores

-----------------------

 

./ 打时间戳后同时进行摄像头视频流保存成文件和播放操作

-----------------------

$ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform  ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! tee name=splitter ! queue ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4 splitter. ! queue ! imxg2dvideosink sync=false

CPU占用率：~53% x 1core of 4cores

-----------------------

 

./ 录制下来的 test.mp4文件可以通过下面pipeline进行回放

-----------------------

gst-launch-1.0 filesrc location=/home/root/test.mp4 typefind=true ! h264parse ! vpudec ! imxv4l2sink

-----------------------

 

 

4). 海康网络摄像头测试

a). 首先通过海康萤石管理软件配置摄像头网络配置为固定IP - 10.20.1.99/255.255.255.0

 

b). 然后将Apalis iMX6 eth0 网络配置为固定IP - 10.20.1.98/255.255.255.0，然后和摄像头确保能够ping通。

 

c). 通过下面pipeline通过rtsp捕获摄像头适配流并播放，admin对应的password在每个摄像头标签上面有提供。

-----------------------

$ gst-launch-1.0 rtspsrc location=rtsp://admin:password@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink

CPU占用率：~18% x 1core of 4cores

-----------------------

当然，也同样可以将捕获的视频流保存成本地文件，这里就不赘述了。

 

 

5). 四路摄像头同时播放示例

a). 基于上面两个章节的测试后，我们现在来进行四路摄像头同时播放显示测试，当然此时显示窗口就不能全屏了，而是要对应调整大小和位置。

 

b). 首先测试在屏幕左上角显示Full HD USB摄像头输出

-----------------------

$ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480

-----------------------

 

c). 然后测试在屏幕左下角显示网络摄像头输出

-----------------------

$ gst-launch-1.0 rtspsrc location=rtsp://admin:XIYFYO@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink window-width=960 window-height=480 window-y-coord=480

-----------------------

 

d). 然后测试在屏幕右上角显示OV5640 MIPI/CSI-2摄像头输出

-----------------------

$ gst-launch-1.0 imxv4l2src device=/dev/video2 ! capsfilter caps="video/x-raw, width=1920, height=1080, framerate=30/1" ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480 window-x-coord=960

-----------------------

 

e). 然后测试在屏幕右下角显示模拟摄像头输出

-----------------------

$ gst-launch-1.0 -v imxv4l2videosrc ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink window-width=960 window-height=480 window-x-coord=960 window-y-coord=480

-----------------------

 

f). 最后测试上面四路摄像头同时输出

本文用如下测试脚本进行测试，当然也可以将上面pipeline都在一个gst-launch里面运行，不过可能需要适当增加queue。

-----------------------

https://github.com/simonqin09/Apalis_iMX6Q_Camera_Demo/blob/master/camera.sh

CPU占用率：~50% x 3core of 4cores

-----------------------

显示效果如下图，另外需要注意由于这个测试除了占用比较大的CPU资源，也大量使用了VPU，GPU等硬件资源，因此需要考虑对Apalis iMX6进行良好散热才能保证运行稳定。

image001.png​                                               

 

 

7). 总结

如上述示例，iMX6处理器已经可以支持丰富的摄像头资源，为了保证工作高效和稳定，在可能的情况下，尽量采用IMX专用的gstreamer元件。

这篇关于基于NXP iMX6 多路摄像头连接测试的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/917365。

相关文章

W外链微信推广短连接怎么做？

W外链微信推广短连接怎么做？

制作微信推广链接的难点分析 一、内容创作难度 制作微信推广链接时，首先需要创作有吸引力的内容。这不仅要求内容本身有趣、有价值，还要能够激起人们的分享欲望。对于许多企业和个人来说，尤其是那些缺乏创意和写作能力的人来说，这是制作微信推广链接的一大难点。 二、精准定位难度 微信用户群体庞大，不同用户的需求和兴趣各异。因此，制作推广链接时需要精准定位目标受众，以便更有效地吸引他们点击并分享链接
阅读更多...
性能测试介绍

性能测试介绍

性能测试是一种测试方法，旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试，可以确定系统是否能够满足预期的性能要求，找出性能瓶颈和潜在的问题，并进行优化和调整。 发现性能瓶颈：性能测试可以帮助发现系统的性能瓶颈，即系统在高负载或高并发情况下可能出现的问题
阅读更多...
字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试 | 如何测试RocketMQ、RocketMQ？

字节面试：RocketMQ是怎么测试的呢？ 答： 首先保证消息的消费正确、设计逆向用例，在验证消息内容为空等情况时的消费正确性； 推送大批量MQ，通过Admin控制台查看MQ消费的情况，是否出现消费假死、TPS是否正常等等问题。（上述都是临场发挥，但是RocketMQ真正的测试点，还真的需要探讨） 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说，就是一个分
阅读更多...
【测试】输入正确用户名和密码，点击登录没有响应的可能性原因

【测试】输入正确用户名和密码，点击登录没有响应的可能性原因

目录 一、前端问题 1. 界面交互问题 2. 输入数据校验问题 二、网络问题 1. 网络连接中断 2. 代理设置问题 三、后端问题 1. 服务器故障 2. 数据库问题 3. 权限问题： 四、其他问题 1. 缓存问题 2. 第三方服务问题 3. 配置问题 一、前端问题 1. 界面交互问题 登录按钮的点击事件未正确绑定，导致点击后无法触发登录操作。 页面可能存在
阅读更多...
业务中14个需要进行A/B测试的时刻[信息图]

业务中14个需要进行A/B测试的时刻[信息图]

在本指南中，我们将全面了解有关 A/B测试 的所有内容。 我们将介绍不同类型的A/B测试，如何有效地规划和启动测试，如何评估测试是否成功，您应该关注哪些指标，多年来我们发现的常见错误等等。 什么是A/B测试？ A/B测试（有时称为“分割测试”）是一种实验类型，其中您创建两种或多种内容变体——如登录页面、电子邮件或广告——并将它们显示给不同的受众群体，以查看哪一种效果最好。 本质上，A/B测
阅读更多...
Java 连接Sql sever 2008

Java 连接Sql sever 2008

Java 连接Sql sever 2008 /Sql sever 2008 R2 import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class TestJDBC
阅读更多...
实例：如何统计当前主机的连接状态和连接数

实例：如何统计当前主机的连接状态和连接数

统计当前主机的连接状态和连接数 在 Linux 中，可使用 ss 命令来查看主机的网络连接状态。以下是统计当前主机连接状态和连接主机数量的具体操作。 1. 统计当前主机的连接状态 使用 ss 命令结合 grep、cut、sort 和 uniq 命令来统计当前主机的 TCP 连接状态。 ss -nta | grep -v '^State' | cut -d " " -f 1 | sort |
阅读更多...
【Go】go连接clickhouse使用TCP协议

【Go】go连接clickhouse使用TCP协议

离开你是傻是对是错 是看破是软弱 这结果是爱是恨或者是什么 如果是种解脱 怎么会还有眷恋在我心窝 那么爱你为什么                      🎵 黄品源/莫文蔚《那么爱你为什么》 package mainimport ("context""fmt""log""time""github.com/ClickHouse/clickhouse-go/v2")func main(
阅读更多...
多路转接之select(fd_set介绍,参数详细介绍),实现非阻塞式网络通信

多路转接之select(fd_set介绍,参数详细介绍),实现非阻塞式网络通信

目录 多路转接之select 引入 介绍 fd_set 函数原型 nfds readfds / writefds / exceptfds readfds  总结  fd_set操作接口  timeout timevalue 结构体 传入值 返回值 代码 注意点 -- 调用函数 select的参数填充  获取新连接 注意点 -- 通信时的调用函数 添加新fd到
阅读更多...
nginx长连接的问题

nginx长连接的问题

转自： http://www.360doc.com/content/12/1108/17/1073512_246644318.shtml
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2