计算机设计大赛 深度学习驾驶行为状态检测系统(疲劳 抽烟 喝水 玩手机) - opencv python

2024-03-09 01:12
文章标签 python 设计 系统 学习 opencv 深度 手机 检测 行为 状态 喝水 抽烟 疲劳 驾驶 计算机 大赛

本文主要是介绍计算机设计大赛 深度学习驾驶行为状态检测系统(疲劳 抽烟 喝水 玩手机) - opencv python，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 1 前言
  • 1 课题背景
  • 2 相关技术
    • 2.1 Dlib人脸识别库
    • 2.2 疲劳检测算法
    • 2.3 YOLOV5算法
  • 3 效果展示
    • 3.1 眨眼
    • 3.2 打哈欠
    • 3.3 使用手机检测
    • 3.4 抽烟检测
    • 3.5 喝水检测
  • 4 最后

1 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 基于深度学习的驾驶行为状态检测系统

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：3分
  • 创新点：5分

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

1 课题背景

为了有效监测驾驶员是否疲劳驾驶、避免交通事故的发⽣,本项目利⽤⼈脸特征点进⾏实时疲劳驾驶检测的新⽅法。对驾驶员驾驶时的⾯部图像进⾏实时监控,⾸先检测⼈脸,并利⽤ERT算法定位⼈脸特征点;然后根据⼈脸眼睛区域的特征点坐标信息计算眼睛纵横⽐EAR来描述眼睛张开程度,根据合适的EAR阈值可判断睁眼或闭眼状态;最后基于EAR实测值和EAR阈值对监控视频计算闭眼时间⽐例(PERCLOS)值度量驾驶员主观疲劳程度,将其与设定的疲劳度阈值进⾏⽐较即可判定是否疲劳驾驶。

2 相关技术

2.1 Dlib人脸识别库

简历
Dlib是一个基于c++开发的开源数据工具库,其中包含了不少的机器学习的成熟算法与模型,相对于tensorflow和PyTorch,它用于图像处理以及人脸面部特征提取、分类及对比这几个方面比较具有通用性和优越性,因此,Dlib正在越来越广泛地应用在人脸识别技术领域。
Dlib具有独立使用的可移植代码。Dlib中的代码使用c++语言进行开发而成,使用独立封装,在不借助第三方数据库的情况下,可以直接移植到自己所需要设计的项目中进行使用。

Dlib优点

  • Dlib拥有全面的文档说明。作为一个开源的人脸数据库训练集,Dlib中有很多功能齐全的程序和文件,从人性化的角度而言的,Dlib在这一点上做的是非常不错的,因为它为每一个程序文档和文件都做了相对应的注释,这样开发者就可以迅速准确的调集程序文档来完成自己所需要的项目功能。

  • Dlib涵盖了支持功能完备的深度学习以及图像处理的各类算法。Dlib为开发者提供了机器深度学习的各类成熟的完备算法,并且在图像处理方面也为开发者带来了能够解决大多数实质问题的优良算法。例如基于SVM的递归和分类算法,以及专门用于面对大规模分类和递归的降维算法。当然还有能够对未知函数进行预分类和预测的相关向量机,其分类和预测训练是基于贝叶斯框架。

相关代码

​

import` `matplotlib.pyplot as plt
import` `dlib
import` `numpy as np
import` `glob
import` `re#正脸检测器
detector``=``dlib.get_frontal_face_detector()
#脸部关键形态检测器
sp``=``dlib.shape_predictor(r``"D:LBJAVAscriptshape_predictor_68_face_landmarks.dat"``)
#人脸识别模型
facerec ``=` `dlib.face_recognition_model_v1(r``"D:LBJAVAscriptdlib_face_recognition_resnet_model_v1.dat"``)#候选人脸部描述向量集
descriptors``=``[]photo_locations``=``[]for` `photo ``in` `glob.glob(r``'D:LBJAVAscriptfaces*.jpg'``):``photo_locations.append(photo)``img``=``plt.imread(photo)``img``=``np.array(img)``#开始检测人脸``dets``=``detector(img,``1``)``for` `k,d ``in` `enumerate``(dets):``#检测每张照片中人脸的特征``shape``=``sp(img,d)``face_descriptor``=``facerec.compute_face_descriptor(img,shape)``v``=``np.array(face_descriptor)``descriptors.append(v)#输入的待识别的人脸处理方法相同
img``=``plt.imread(r``'D:test_photo10.jpg'``)
img``=``np.array(img)
dets``=``detector(img,``1``)
#计算输入人脸和已有人脸之间的差异程度（比如用欧式距离来衡量）
differences``=``[]
for` `k,d ``in` `enumerate``(dets):``shape``=``sp(img,d)``face_descriptor``=``facerec.compute_face_descriptor(img,shape)``d_test``=``np.array(face_descriptor)``#计算输入人脸和所有已有人脸描述向量的欧氏距离``for` `i ``in` `descriptors:``distance``=``np.linalg.norm(i``-``d_test)``differences.append(distance)#按欧式距离排序 欧式距离最小的就是匹配的人脸
candidate_count``=``len``(photo_locations)
candidates_dict``=``dict``(``zip``(photo_locations,differences))
candidates_dict_sorted``=``sorted``(candidates_dict.items(),key``=``lambda` `x:x[``1``])#matplotlib要正确显示中文需要设置
plt.rcParams[``'font.family'``] ``=` `[``'sans-serif'``]
plt.rcParams[``'font.sans-serif'``] ``=` `[``'SimHei'``]plt.rcParams[``'figure.figsize'``] ``=` `(``20.0``, ``70.0``)ax``=``plt.subplot(candidate_count``+``1``,``4``,``1``)
ax.set_title(``"输入的人脸"``)
ax.imshow(img)for` `i,(photo,distance) ``in` `enumerate``(candidates_dict_sorted):``img``=``plt.imread(photo)``face_name``=``""``photo_name``=``re.search(r``'([^\]*).jpg$'``,photo)``if` `photo_name:``face_name``=``photo_name[``1``]``ax``=``plt.subplot(candidate_count``+``1``,``4``,i``+``2``)``ax.set_xticks([])``ax.set_yticks([])``ax.spines[``'top'``].set_visible(``False``)``ax.spines[``'right'``].set_visible(``False``)``ax.spines[``'bottom'``].set_visible(``False``)``ax.spines[``'left'``].set_visible(``False``)``if` `i``=``=``0``:``ax.set_title(``"最匹配的人脸nn"``+``face_name``+``"nn差异度："``+``str``(distance))``else``:``ax.set_title(face_name``+``"nn差异度："``+``str``(distance))``ax.imshow(img)plt.show()

2.2 疲劳检测算法

该系统采用Dlib库中人脸68个关键点检测shape＿predictor＿68＿face＿landmarks.dat的dat模型库及视频中的人脸，之后返回人脸特征点坐标、人脸框及人脸角度等。本系统利用这68个关键点对驾驶员的疲劳状态进行检测，算法如下：

  1. 初始化Dlib的人脸检测器(HOG)，然后创建面部标志物预测；
  2. 使用dlib.get＿frontal＿face＿detector() 获得脸部位置检测器；
  3. 使用dlib.shape＿predictor获得脸部特征位置检测器；
  4. 分别获取左、右眼面部标志的索引；
  5. 打开cv2本地摄像头。

Dlib库68个特征点模型如图所示：

眼睛检测算法

基于EAR算法的眨眼检测，当人眼睁开时，EAR在某个值域范围内波动，当人眼闭合时，EAR迅速下降，理论上接近于0。当EAR低于某个阈值时，眼睛处于闭合状态；当EAR由某个值迅速下降至小于该阈值，再迅速上升至大于该阈值，则判断为一次眨眼。为检测眨眼次数，需要设置同一次眨眼的连续帧数。眨眼速度较快，一般1～3帧即可完成眨眼动作。眼部特征点如图：
在这里插入图片描述
EAR计算公式如下：
在这里插入图片描述
当后帧眼睛宽高比与前一帧差值的绝对值(EAR)大于0.2时，认为驾驶员在疲劳驾驶。（68点landmark中可以看到37-42为左眼，43-48为右眼）
在这里插入图片描述
右眼开合度可以通过以下公式：
在这里插入图片描述
眼睛睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算最长闭眼时间(可用帧数来代替)。闭眼次数为进入闭眼、进入睁眼的次数。通过设定单位时间内闭眼次数、闭眼时间的阈值判断人是否已经疲劳了。

相关代码：

​

# 疲劳检测，检测眼睛和嘴巴的开合程度from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np  # 数据处理的库 numpy
import argparse
import imutils
import time
import dlib
import cv2
import math
import time
from threading import Threaddef eye_aspect_ratio(eye):# 垂直眼标志（X，Y）坐标A = dist.euclidean(eye[1], eye[5])  # 计算两个集合之间的欧式距离B = dist.euclidean(eye[2], eye[4])# 计算水平之间的欧几里得距离# 水平眼标志（X，Y）坐标C = dist.euclidean(eye[0], eye[3])# 眼睛长宽比的计算ear = (A + B) / (2.0 * C)# 返回眼睛的长宽比return ear

打哈欠检测算法

基于MAR算法的哈欠检测，利用Dlib提取嘴部的6个特征点，通过这6个特征点的坐标(51、59、53、57的纵坐标和49、55的横坐标)来计算打哈欠时嘴巴的张开程度。当一个人说话时，点51、59、53、57的纵坐标差值增大，从而使MAR值迅速增大，反之，当一个人闭上嘴巴时，MAR值迅速减小。

嘴部主要取六个参考点，如下图：
在这里插入图片描述
计算公式：
在这里插入图片描述
通过公式计算MAR来判断是否张嘴及张嘴时间，从而确定驾驶员是否在打哈欠。阈值应经过大量实验，能够与正常说话或哼歌区分开来。为提高判断的准确度，采用双阈值法进行哈欠检测，即对内轮廓进行检测：结合张口度与张口时间进行判断。Yawn为打哈欠的帧数，N为1
min内总帧数，设双阈值法哈欠检测的阈值为10%，当打哈欠频率Freq>10%时，则认为驾驶员打了1个深度哈欠或者至少连续2个浅哈欠，此时系统进行疲劳提醒。

相关代码：

​

# 疲劳检测，检测眼睛和嘴巴的开合程度from scipy.spatial import distance as dist
from imutils.video import FileVideoStream
from imutils.video import VideoStream
from imutils import face_utils
import numpy as np  # 数据处理的库 numpy
import argparse
import imutils
import time
import dlib
import cv2
import math
import time
from threading import Threaddef mouth_aspect_ratio(mouth):  # 嘴部A = np.linalg.norm(mouth[2] - mouth[10])  # 51, 59B = np.linalg.norm(mouth[4] - mouth[8])  # 53, 57C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55mar = (A + B) / (2.0 * C)return mar

​

点头检测算法

基于HPE算法的点头检测：算法步骤：2D人脸关键点检测，3D人脸模型匹配，求解3D点和对应2D点的转换关系，根据旋转矩阵求解欧拉角。检测过程中需要使用世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)。一个物体相对于相机的姿态可以使用旋转矩阵和平移矩阵来表示。

  • 平移矩阵：物体相对于相机的空间位置关系矩阵，用T表示。
  • 旋转矩阵：物体相对于相机的空间姿态关系矩阵，用R表示。

因此必然少不了坐标系转换。如图所示：
在这里插入图片描述
于是世界坐标系(UVW)、相机坐标系(XYZ)、图像中心坐标系(uv)和像素坐标系(xy)四兄弟闪亮登场。相对关系如：
世界坐标系转换到相机坐标：在这里插入图片描述
相机坐标系转换到像素坐标系：
在这里插入图片描述
像素坐标系与世界坐标系的关系为：
在这里插入图片描述
图像中心坐标系转换到像素坐标系：
在这里插入图片描述

得到旋转矩阵后，求欧拉角：
在这里插入图片描述
设定参数阈值为0.3，在一个时间段，如10
s内，当低头欧拉角|Pitch|≥20°或者头部倾斜欧拉角|Roll|≥20°的时间比例超过0.3时，则认为驾驶员处于瞌睡状态，发出预警。

2.3 YOLOV5算法

简介
我们选择当下YOLO最新的卷积神经网络YOLOv5来进行检测是否存在玩手机、抽烟、喝水这三种行为。6月9日，Ultralytics公司开源了YOLOv5，离上一次YOLOv4发布不到50天。而且这一次的YOLOv5是完全基于PyTorch实现的！在我们还对YOLOv4的各种高端操作、丰富的实验对比惊叹不已时，YOLOv5又带来了更强实时目标检测技术。按照官方给出的数目，现版本的YOLOv5每个图像的推理时间最快0.007秒，即每秒140帧（FPS），但YOLOv5的权重文件大小只有YOLOv4的1/9。

目标检测架构分为两种，一种是two-stage，一种是one-stage，区别就在于 two-stage 有region
proposal过程，类似于一种海选过程,网络会根据候选区域生成位置和类别，而one-stage直接从图片生成位置和类别。今天提到的 YOLO就是一种
one-stage方法。YOLO是You Only Look Once的缩写,意思是神经网络只需要看一次图片，就能输出结果。YOLO
一共发布了五个版本，其中 YOLOv1 奠定了整个系列的基础，后面的系列就是在第一版基础上的改进，为的是提升性能。

YOLOv5有4个版本性能如图所示：
在这里插入图片描述
网络架构图
在这里插入图片描述

3 效果展示

3.1 眨眼

在这里插入图片描述

3.2 打哈欠

在这里插入图片描述

3.3 使用手机检测

在这里插入图片描述

3.4 抽烟检测

在这里插入图片描述

3.5 喝水检测

在这里插入图片描述

4 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

这篇关于计算机设计大赛 深度学习驾驶行为状态检测系统(疲劳 抽烟 喝水 玩手机) - opencv python的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/789059。

相关文章

Python将博客内容html导出为Markdown格式

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞？二、准备如何搞？三、说搞咱就搞！抓取文章提取内容构建html转存markdown
阅读更多...
Python获取中国节假日数据记录入JSON文件

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢？我尝试一种更为智能的方法：P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验，
阅读更多...
Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整
阅读更多...
Python Websockets库的使用指南

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.
阅读更多...
揭秘Python Socket网络编程的7种硬核用法

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器：探测开放端口2.简易 HTTP 服务器：10 秒搭个网页3.局域网游戏：多人联机对战4.
阅读更多...
使用Python实现快速搭建本地HTTP服务器

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》：本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.
阅读更多...
Linux系统中卸载与安装JDK的详细教程

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1
阅读更多...
Python使用自带的base64库进行base64编码和解码

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意
阅读更多...
SpringCloud动态配置注解@RefreshScope与@Component的深度解析

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.
阅读更多...
Python基于wxPython和FFmpeg开发一个视频标签工具

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2