福州大学《嵌入式系统综合设计》实验四:边缘检测

2023-11-21 17:36

本文主要是介绍福州大学《嵌入式系统综合设计》实验四:边缘检测,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、实验目的

BMCV 提供了一套基于 Sophon AI 芯片优化的机器视觉库,通过利用芯片的 TPU 和 VPP模块,可以完成色彩空间转换、尺度变换、仿射变换、透射变换、线性变换、画框、JPEG 编解码、BASE64 编解码、NMS、排序、特征匹配等操作。

本实验的目的是掌握算能的BMCV接口使用方法,掌握bmcv_sobel,bmcv_canny边缘检测函数的使用方法。

二、实验内容

基于套接字、多线程、同步锁机制实现多媒体文件的收发;

发送端Ubuntu的PC机读取文件,每1024个字节组成一个包通过TCP报文发送到接收端;接收端SE5上启动2个线程,线程1接收报文并将报文存入缓存;线程2通过缓存读取报文存入文件中;要求线程1和线程2之间通过同步锁进行线程同步。

  1. 编写代码,通过OpenCV读取图片文件,并调用BMCV的bmcv_sobel、bmcv_canny函数来实现对图片的边缘检测,最后输出检测结果。
  2. 直接利用OpenCV的边缘检测接口,实现边缘检测功能;
  3. 对比OpenCV与BMCV边缘检测所需要的时间;

三、开发环境

开发主机:Ubuntu 22.04 LTS

硬件:算能SE5

本地如果有SE5硬件,则可以PC机作为客户端,SE5作为服务器端。本地如果没有SE5硬件,只有云空间,则可以直接将客户端和服务器端都通过云空间实现,机在云空间的SE5模拟环境中实现。

四、实验器材

开发主机 + 云平台

五、实验过程与结论

5.1 BMCV关键函数解析

请参考算能BMCV开发资料:《BMCV User Guide》,也可以通过以下网址下载:

https://doc.sophgo.com/docs/2.7.0/docs_latest_release/bmcv/BMCV_User_Guide_zh.pdf

OpenCV的开发资料可参考《OpenCV官方文档》。

算能BMCV提供了bmcv_image_sobelbmcv_image_canny函数用于进行边缘检测。

bmcv_image_sobel

bm_status_t bmcv_image_sobel (
bm_handle_t handle,       //BMCV句柄
bm_image input,           //输入的BMI图片(待处理)
bm_image output,          //输出的BMI图片(处理结果)
int dx,                   //x 方向上的差分阶数
int dy)                   //y 方向上的差分阶数

具体函数接口说明如下:

(1)第二个参数和第三个参数图像的格式为bm_image,bm_image 需要外部调用 bmcv_image_creat创建。image 内存可以使用 bm_image_alloc_dev_mem 或者 bm_image_copy_host_to_device来开辟新的内存,或者使用 bmcv_image_attach 来 attach 已有的内存。

(2)dx, dy取值皆为1或0。 其中,dx=1,dy=0,表示计算X方向的导数,检测出的是垂直方向上的边缘;dx=0,dy=1,表示计算Y方向的导数,检测出的是垂直方向上的边缘。

(3) Sobel 核的大小,必须是-1,1,3,5 或7。其中特殊地,如果是-1 则使用3×3 Scharr 滤波器,如果是1 则使用3×1 或者1×3 的核。默认值为3。scale 为对求出的差分结果乘以的系数,默认值为1。Delta为在输出最终结果之前加上该偏移量,默认值为0。通常不需要对scale和Delta进行设置。

bmcv_image_canny

bm_status_t bmcv_image_canny (
bm_handle_t handle,
bm_image input,
bm_image output,
float threshold1,
float threshold2,
int aperture_size = 3,
bool l2gradient = false);

具体函数接口说明如下:

(1)第二个参数和第三个参数图像的格式为bm_image,bm_image 需要外部调用 bmcv_image_create 创建。image 内存可以使用 bm_image_alloc_dev_mem 或者 bm_image_copy_host_to_device来开辟新的内存,或者使用 bmcv_image_attach 来 attach 已有的内存。

(2)threshold1 和threshold2 为双阈值法的第一、第二个阈值。aperture_size 为 其中Sobel 核的大小,目前仅支持3。l2gradient 表示是否使用L2 范数来求图像梯度, 默认值为false,默认为由L1范数来求解图像梯度。

注意,BMCV的函数接口都是基于BMI格式进行图像处理。如上面的函数说明,其中第二个参数和第三个参数都是基于bm_image格式的。因此,需要首先通过OpenCV读取图片,并将图片格式转换为BMI格式后,才可以调用bmcv_image_sobel和bmcv_image_canny函数进行边缘检测。

本实验及实验5,实验6,实验7中使用BMCV相关函数的基本处理流程如下图所示,仅需调整红框模块中所调用的API即可实现不同实验功能:

4-1 实验流程框图

首先,本实例为了利用BMCV接口,需要引用相关的BMCV相关头文件:

#include "bmcv_api.h"

创建Mat类对象并读取图片数据:

# 创建OpenCV类对象
cv::Mat Input,Out;
# 读取第二个命令行参数存入mat对象中(读取数据)
Input = cv::imread(argv[1], 0);

注意,这里OpenCV类读取到的图片文件输出的格式是MAT格式,而BMCV处理的图片是bm_image格式,即BMCV对象。因此,我们需要先创建BMCV对象,然后将OpenCV类读取到的图片通过toBMI接口转换为BMCV对象。

# 创建BMCV对象
bm_image input, output;
bm_image_create(handle,height,width,FORMAT_GRAY,DATA_TYPE_EXT_1N_BYTE,&input);
# 以下是c++智能指针:划分一块内存区域并获取其信息
std::unique_ptr<unsigned char[]> src_data(new unsigned char[width * height]);
std::unique_ptr<unsigned char[]> res_data(new unsigned char[width * height]);

BMCV对象操作要求,在对象创建后,需要为该对象申请内部管理内存。如下函数所示:

bm_image_alloc_contiguous_mem(1, &input);
bm_image_alloc_contiguous_mem(1, &output);

也可以通过bm_image_alloc_dev_mem(input)函数申请内存:

bm_image_alloc_dev_mem(input)
bm_image_alloc_dev_mem(output);

然后通过toBMI函数将OpenCV读取的图片mat类数据转化为BMCV类数据,再调用bmcv_image_sobel函数进行处理:

cv::bmcv::toBMI(Input,&input);
# Sobel边缘检测
bmcv_image_sobel(handle, input, output, 0, 1)

需要注意的是这里用了toBMI函数实际内部做了一个内存同步的操作。也就是OpenCV读取的mat格式图片实际处于系统内存中,通过toBMI转换后同步到设备内存中。这里也可以通过bm_image_copy_host_to_device函数完成内存的同步。具体见上述的《BMCV User Guide110页中的示例代码所采用的方法。

将处理结果转化为mat数据格式保存

cv::bmcv::toMAT(&output, Out);
cv::imwrite("out.jpg", Out);

销毁内存

bm_image_free_contiguous_mem(1, &input);
bm_image_free_contiguous_mem(1, &output);
bm_image_destroy(input);
bm_image_destroy(output);
bm_dev_free(handle);

综上,我们可以得到利用BMCV sobel函数进行图像边缘检测的关键代码如下:

#include <iostream>
#include <vector>
#include "bmcv_api.h"
#include "common.h"
#include "stdio.h"
#include "stdlib.h"
#include "string.h"
#include <memory>using namespace cv;
using namespace std;int main(int argc, char *argv[]) {	
bm_handle_t handle;					  //获取句柄 bm_dev_request(&handle, 0);int width =  600;					   	  //定义图片数据 int height = 600;cv::Mat Input,Out,Test; 				   Input = cv::imread(argv[1], 0);	      //opencv读取图片,通过命令行参数传入// 智能指针获取分配内存数据 std::unique_ptr<unsigned char[]> src_data(new unsigned char[width * height]);std::unique_ptr<unsigned char[]> res_data(new unsigned char[width * height]);// bmcv处理 bm_image input, output;bm_image_create(handle,height,width,FORMAT_GRAY, DATA_TYPE_EXT_1N_BYTE,&input);bm_image_alloc_contiguous_mem(1, &input, 1); 	// 分配device memory unsigned char * input_img_data = src_data.get();bm_image_copy_host_to_device(input, (void **)&input_img_data);bm_image_create(handle,height,width,FORMAT_GRAY,DATA_TYPE_EXT_1N_BYTE,&output);bm_image_alloc_contiguous_mem(1, &output, 1);	cv::bmcv::toBMI(Input,&input);                  //自动进行内存同步// bmcv图像处理:caif (BM_SUCCESS != bmcv_image_sobel(handle, input, output, 0, 1)) {std::cout << "bmcv sobel error !!!" << std::endl;bm_image_destroy(input);bm_image_destroy(output);bm_dev_free(handle);return -1;}// 将输出结果转成mat数据并保存 cv::bmcv::toMAT(&output, Out);cv::imwrite("out.jpg", Out);bm_image_free_contiguous_mem(1, &input);bm_image_free_contiguous_mem(1, &output);bm_image_destroy(input);bm_image_destroy(output);bm_dev_free(handle);return 0; 
}

如果采用bmcv_image_canny函数进行边缘检测,只需要将上述代码中的bmcv_image_sobel函数改为bmcv_image_canny函数即可:

// bmcv图像处理:canny 
if (BM_SUCCESS != bmcv_image_canny(handle, input, output, 0, 200)) {td::cout << "bmcv canny error !!!" << std::endl;bm_image_destroy(input);bm_image_destroy(output);bm_dev_free(handle);exit(-1);
}

编写makfile文件:

DEBUG        ?= 0
PRODUCTFORM  ?= soc
BM_MEDIA_ION ?= 0INSTALL_DIR    ?= release//注意:这个地方一定要根据自己的目录路径进行设置
top_dir :=../../..ifeq ($(PRODUCTFORM),x86) # pcie modeCROSS_CC_PREFIX = x86_64-linux-
else # pcie_arm64 and soc modeCROSS_CC_PREFIX = aarch64-linux-gnu-
endifCC  = $(CROSS_CC_PREFIX)gcc
CXX = $(CROSS_CC_PREFIX)g++CPPFLAGS := -std=gnu++11 -fPIC -Wall -Wl,--fatal-warning
ifeq ($(DEBUG), 0)CPPFLAGS += -O2
elseCPPFLAGS += -g
endif# NATIVE API SDK
NATIVE_SDK_HEADERS:=-I$(top_dir)/include/decode
NATIVE_SDK_LDFLAGS:=-L$(top_dir)/lib/decode/${PRODUCTFORM}
NATIVE_SDK_LDLIBS :=-lbmion -lbmjpulite -lbmjpuapi -lbmvpulite -lbmvpuapi -lbmvideo -lbmvppapi -lyuv# FFMPEG SDK
FF_SDK_HEADERS := -I$(top_dir)/include/ffmpeg
FF_SDK_LDFLAGS := -L$(top_dir)/lib/ffmpeg/$(PRODUCTFORM)
FF_SDK_LDLIBS  := -lavcodec -lavformat -lavutil -lswresample -lswscale# OpenCV SDK
OCV_SDK_HEADERS := -I$(top_dir)/include/opencv/opencv4
OCV_SDK_LDFLAGS := -L$(top_dir)/lib/opencv/$(PRODUCTFORM)
OCV_SDK_LDLIBS  := -lopencv_core -lopencv_imgcodecs -lopencv_imgproc -lopencv_videoio# BMCV SDK
BMCV_SDK_HEADERS := -I$(top_dir)/include/bmlib
BMCV_SDK_LDFLAGS := -L$(top_dir)/lib/bmnn/$(PRODUCTFORM)
ifeq (${PRODUCTFORM}, x86)
BMCV_SDK_LDFLAGS :=  -L$(top_dir)/lib/bmnn/pcie
endif
BMCV_SDK_LDLIBS  := -lbmcv -lbmlibCPPFLAGS += $(NATIVE_SDK_HEADERS) $(FF_SDK_HEADERS) $(OCV_SDK_HEADERS) $(BMCV_SDK_HEADERS)
LDFLAGS  := $(NATIVE_SDK_LDFLAGS) $(FF_SDK_LDFLAGS) $(OCV_SDK_LDFLAGS)LDLIBS   := $(NATIVE_SDK_LDLIBS) $(FF_SDK_LDLIBS) $(OCV_SDK_LDLIBS) $(BMCV_SDK_LDLIBS) -lpthread -lstdc++TARGET=bmcv_sobel
MAKEFILE=Makefile
ALLOBJS=*.o
ALLDEPS=*.dep
RM=rm -rf
CP=cp -fSOURCES := bmcv_sobel.cppOBJECTPATHS:=$(patsubst %.cpp,%.o,$(SOURCES)).phony: all cleanall: $(TARGET)$(TARGET): $(OBJECTPATHS)$(CC) -o $@ $(OBJECTPATHS) $(LDFLAGS) $(LDLIBS)install: $(TARGET)install -d $(INSTALL_DIR)/bininstall $(TARGET) $(INSTALL_DIR)/binuninstall:$(RM) $(INSTALL_DIR)/bin/$(TARGET) clean:$(RM) $(TARGET)$(RM) $(ALLDEPS)$(RM) $(ALLOBJS)bmcv_sobel.o : bmcv_sobel.cpp $(MAKEFILE)$(CXX) $(CPPFLAGS) -c $< -o $@ -MD -MF $(@:.o=.dep)
LDLIBS   := $(NATIVE_SDK_LDLIBS) $(FF_SDK_LDLIBS) $(OCV_SDK_LDLIBS) $(BMCV_SDK_LDLIBS) -lpthread -lstdc++TARGET=bmcv_sobel
MAKEFILE=Makefile
ALLOBJS=*.o
ALLDEPS=*.dep
RM=rm -rf
CP=cp -fSOURCES := bmcv_sobel.cppOBJECTPATHS:=$(patsubst %.cpp,%.o,$(SOURCES)).phony: all cleanall: $(TARGET)$(TARGET): $(OBJECTPATHS)$(CC) -o $@ $(OBJECTPATHS) $(LDFLAGS) $(LDLIBS)install: $(TARGET)install -d $(INSTALL_DIR)/bininstall $(TARGET) $(INSTALL_DIR)/binuninstall:$(RM) $(INSTALL_DIR)/bin/$(TARGET) clean:$(RM) $(TARGET)$(RM) $(ALLDEPS)$(RM) $(ALLOBJS)bmcv_sobel.o : bmcv_sobel.cpp $(MAKEFILE)$(CXX) $(CPPFLAGS) -c $< -o $@ -MD -MF $(@:.o=.dep)
5.2 BMCV执行结果

向云平台或SE5上传待检测的图片,并执行如下代码:

./bmcv_sobel greycat.jpeg bmcv

运行程序后,对同一张图片进行处理所得出的sobelcanny边缘检测的两个结果:

Sobel:

Canny:

如上图所示,两种边缘检测都能大概检测出图像边缘,但精细程度不同。在实际应用时可选择自己所适合的方式选择合适的边缘检测方式。

5.3 OpenCV关键函数解析

OpenCV也提供了SobelCanny边缘检测算子,具体函数原型如下:

void cv::Canny(InputArray image,OutputArray  edges,double  threshold1,double 	threshold2,int 	apertureSize = 3,bool    L2gradient = false 
)void cv::Sobel(InputArray src,OutputArray dst, //输出图像,与输入图像src具有相同的尺寸和通道数,数据类型由第三个参数ddepth控制。int ddepth,    // ddepth:输出图像的数据类型(深度), 为-1时,输出图像的数据类型自动选择。int dx,int dy,int ksize = 3,double scale = 1,double delta = 0,int borderType = BORDER_DEFAULT) //像素外推法选择标志,默认为//BORDER_DEFAULT,表示不包含边界值倒序填充。

同名参数的含义与BMCV中参数含义相同。OpenCV下,不需要进行BMI转换,直接可以将读取到的MAT格式的图片通过sobel Canny接口进行处理。如下图所示:

//头文件
#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/highgui/highgui.hpp>
....
//关键代码
cv::Mat srcImage = cv::imread(argv[1], 1);
cv::Mat grayImage; 
cv::Mat srcImage1 = srcImage.clone();
cvtColor(srcImage, grayImage, COLOR_BGR2GRAY);
Mat dstImage, edge;
dstImage.create(srcImage1.size(), srcImage1.type());
dstImage = Scalar::all(0);
srcImage1.copyTo(dstImage, edge);

5.4 硬件加速性能对比

此外,在算能云平台上,基于BMCVsobel函数,因为使用了硬件加速,所以可以提升速率。

为验证执行程序所需的时间,须在运行时通过time命令来实现,如下图所示:

第一张图为用OpenCVsobel函数所需时间,第二张图为用bmcvsobel函数时所需的时间。经硬件加速后,程序所需的运行时间明显减少。

这篇关于福州大学《嵌入式系统综合设计》实验四:边缘检测的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/403937

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X

软考系统规划与管理师考试证书含金量高吗?

2024年软考系统规划与管理师考试报名时间节点: 报名时间:2024年上半年软考将于3月中旬陆续开始报名 考试时间:上半年5月25日到28日,下半年11月9日到12日 分数线:所有科目成绩均须达到45分以上(包括45分)方可通过考试 成绩查询:可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间:预计在11月左右 证书领取时间:一般在考试成绩公布后3~4个月,各地领取时间有所不同

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识