ROS+opencv 人脸，眼睛，手掌识别程序解读

算是第一次在CSDN上写博客，之前在windows下有onenote神器，然而在ubuntu下真的没有找到比较好的记笔记方法，所以来到CSDN这个圣殿来记录一下学习的印记。学习ROS已经有一个月的时间了，曲曲折折，之前的经历和经验会找时间补上。
接下来进入正题，ros与opencv的用法。
首先要配置好launch文件，代码如下：

<?xml version="1.0"?>
<launch><node pkg="robot_vision" name="eyes_detector" type="eyes_detector.py" output="screen"><remap from="input_rgb_image" to="/usb_cam/image_raw" /><rosparam>haar_scaleFactor: 1.2haar_minNeighbors: 2haar_minSize: 40haar_maxSize: 60</rosparam><param name="cascade_1" value="$(find robot_vision)/data/haar_detectors/haarcascade_frontalface_alt.xml" /><param name="cascade_2" value="$(find robot_vision)/data/haar_detectors/haarcascade_profileface.xml" /><param name="cascade_3" value="$(find robot_vision)/data/haar_detectors/haarcascade_eye.xml" /><param name="cascade_4" value="$(find robot_vision)/data/haar_detectors/haarcascade_smile.xml" /><param name="cascade_5" value="$(find robot_vision)/data/haar_detectors/haarcascade_hand.xml" /></node>
</launch>

launch文件启动节点就不多讲了，eyes_detecor.py是一会要讲的程序，一会再说 ，rosparam是用来配置ros参数的，其中配置的是haar检测的相关参数，在我上篇转载的文章中有讲述到，下面的五个param是调用事先下载好的haarcascade，这个算法是2001年Viola和Jones提出来的基于Haar特征的级联分类器对象检测算法，想更多了解具体算法的话，自行谷歌。这里面是在github上下载的训练好的cascde，俗话理解就是在这些文件里面已经包含了很多人脸，眼睛的特征，只需要和你的脸进行匹配的算法。
接下来贴上节点代码：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import rospy
import cv2
import numpy as np
from sensor_msgs.msg import Image, RegionOfInterest
from cv_bridge import CvBridge, CvBridgeErrorclass faceDetector:def __init__(self):rospy.on_shutdown(self.cleanup);# 创建cv_bridgeself.bridge = CvBridge()self.image_pub = rospy.Publisher("cv_bridge_image", Image, queue_size=1)# 获取haar特征的级联表的XML文件，文件路径在launch文件中传入cascade_1 = rospy.get_param("~cascade_1", "")  #正脸识别导入cascade_2 = rospy.get_param("~cascade_2", "")  #侧脸识别导入cascade_3 = rospy.get_param("~cascade_3", "")  #眼睛识别导入cascade_4 = rospy.get_param("~cascade_4", "")  #微笑识别导入cascade_5 = rospy.get_param("~cascade_5", "")  #手掌识别导入# 使用级联表初始化haar特征检测器self.cascade_1 = cv2.CascadeClassifier(cascade_1)self.cascade_2 = cv2.CascadeClassifier(cascade_2)self.cascade_3 = cv2.CascadeClassifier(cascade_3)self.cascade_4 = cv2.CascadeClassifier(cascade_4)self.cascade_5 = cv2.CascadeClassifier(cascade_5)# 设置级联表的参数，优化人脸识别，可以在launch文件中重新配置self.haar_scaleFactor  = rospy.get_param("~haar_scaleFactor", 1.2)self.haar_minNeighbors = rospy.get_param("~haar_minNeighbors", 2)self.haar_minSize      = rospy.get_param("~haar_minSize", 10)self.haar_maxSize      = rospy.get_param("~haar_maxSize", 30)self.color_green = (50, 255, 50)self.color_blue = (0, 0, 255)# 初始化订阅rgb格式图像数据的订阅者，此处图像topic的话题名可以在launch文件中重映射self.image_sub = rospy.Subscriber("input_rgb_image", Image, self.image_callback, queue_size=1)def image_callback(self, data):# 使用cv_bridge将ROS的图像数据转换成OpenCV的图像格式try:cv_image = self.bridge.imgmsg_to_cv2(data, "bgr8")     frame = np.array(cv_image, dtype=np.uint8)except CvBridgeError, e:print e# 创建灰度图像grey_image = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 创建平衡直方图，减少光线影响grey_image = cv2.equalizeHist(grey_image)# 尝试检测眼睛，手 eye_result = self.detect_eye(grey_image)hand_result = self.detect_hand(grey_image)#框出眼睛if len(eye_result)>0:for eye in eye_result:ex,ey,ew,eh =eyecv2.rectangle(cv_image, (ex, ey), (ex+ew, ey+eh), self.color_green, 2)#框出手掌if len(hand_result)>0:for hand in hand_result:hx,hy,hw,hh =handcv2.rectangle(cv_image, (hx, hy), (hx+hw, hy+hh), self.color_blue, 2)# 将识别后的图像转换成ROS消息并发布self.image_pub.publish(self.bridge.cv2_to_imgmsg(cv_image, "bgr8"))#检测配置def detect_eye(self, input_image):eye = self.cascade_3.detectMultiScale(input_image, self.haar_scaleFactor, self.haar_minNeighbors, cv2.CASCADE_SCALE_IMAGE, (self.haar_minSize, self.haar_maxSize))return eyedef detect_hand(self, input_image):hand = self.cascade_5.detectMultiScale(input_image, self.haar_scaleFactor, self.haar_minNeighbors, cv2.CASCADE_SCALE_IMAGE, (self.haar_minSize, self.haar_maxSize))return handdef cleanup(self):print "Shutting down vision node."cv2.destroyAllWindows()if __name__ == '__main__':try:# 初始化ros节点rospy.init_node("face_detector")faceDetector()rospy.loginfo("Face detector is started..")rospy.loginfo("Please subscribe the ROS image.")rospy.spin()except KeyboardInterrupt:print "Shutting down face detector node."cv2.destroyAllWindows()

python相关的知识就不细说了，要是没学过python的小伙伴可以花几个小时看看语法，很快就会入门了。在py程序当中，需要获取haar特征的级联表的XML文件，文件路径在launch 文件中传入，然后使用级联表初始化haar特征检测器；
在回调函数中，首先利用cvbridge（ros和opencv的接口）将usb摄像头发布的图像转换成opencv图像，从而在opencv中进行处理；获取opencv图像后先进行灰度化转换，并进行边缘处理和噪声过滤，创建平衡直方图；然后进行眼睛人脸等检测，在检测配置中将事先设置好的参数进行调入；然后利用检测到的边缘，打印方框，框在检测到的眼睛和人脸上；最后再次利用cvbridge，将opencv图像转换成ros图像，最后可以通过rqt来查看效果。
最后划一下重点：

• 下载好haarcascade_xxxx.xml文件，放到工作空间的你知道的位置，下载地址给出：https://github.com/opencv/opencv/tree/master/data/haarcascades，这个里面没有haarcascsde_hand，下载网址：https://github.com/JongJuJu/webcam-hand-detect/blob/master/haarcascade_hand.xml
• launch文件和程序节点中都要导入haarcascade文件
• 通过cvbridge进行ros图像和opencv图像之间的转换
• 配置参数可以优化检测效果，参数讲解在上篇文章
• 我给出的程序是检测眼睛和手掌的，其实其他的都一样，只要加载要检测的haarcascade.xml文件就可以检测了
  附上效果图片：

第一次写，可能缩进相关的不好看，也没太组织好语言，之后会继续学习，继续完善。

怕什么真理无穷，进一步有进一步的喜悦。