基于Kinect视觉系统的西红柿自动识别与定位

本文主要是介绍基于Kinect视觉系统的西红柿自动识别与定位，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

论文重点笔记

1、基于图像分割的西红柿识别
- 颜色空间的选择
  - 采用RGB颜色空间进行分割缺点
    - 不能完全去除背景噪声，三个分量高度相关，而且分割结果受光照的影响较大。
  - RGB线性变换
    - YIQ、 YUV、 I1I2I3
    - 优点：计算量小，并且部分消除了RGB的相关性
  - RGB非线性变换
    - HSI、 Lab、 Luv、 NRGB
  - 选取：HSI和Lab颜色空间分别分割，然后将两个分割结果进行融合，再对分割结果去除背景噪声。
- HSI 颜色特征分析与提取
  - HSI颜色特征分析
    - 颜色空间转换公式
    - H代表色调；S代表饱和度；I代表亮度或透明度。在HSI颜色空间中H、S、I的3个分量相互独立，可分别对这3个量进行控制。西红柿表面光滑，在光照变化的情况下影响图像的提取，所以处理时只考虑H分量，这样就避免了光照的影响，具体做法是采用基于门限改进的Otsu法（阈值分割）完成对H分量的图像分割。
  - Otsu分割方法的改进
    - 结合迭代法和Otsu法，根据图像先确定一个初始阈值T1，然后利用Otsu法自动获取最佳阈值T，将获得的两个阈值进行比较，如果T1≥T，则最佳阈值为T，如果T1≤T，则最佳阈值为T1。
  - 分割结果
- Lab 色彩空间图像分割
  - 颜色空间转换公式
  - Lab色彩空间是根据色度和亮度组成的3维空间图，其中L表示心理明度，a、b为心理色度。在Lab色彩空间坐标中，+a表示红色，-a表示绿色，+b表示黄色，-b 表示蓝色，颜色的明度由L的百分数来表示。通过西红柿的颜色特征，我们很明显得出成熟的西红柿为+a (红色)，未成熟的西红柿及枝干和叶子为-a (绿色)。因此选择Lab色彩空间来对成熟西红柿进行分割是非常合适的。
  - 将图像的L通道、a通道、b通道的图像分离出来，得到3个独立的灰度图像。由于a通道两端所代表的颜色是成熟西红柿的红色和背景颜色绿色，所以只需对a通道的图像进行处理从而完成对成熟西红柿的分割。基于灰度图像的分割方法很多，采用K均值聚类算法。
  - 分割结果
- HSI 与 Lab 颜色空间分割结果的融合
  - 图像融合方法
    - 方法：颜色过渡法、小波融合法和多分辨率样条法等
    - 优缺点：这些算法的效果较好，但计算量较大
  - 加权平均算法（本文）
    - 算法思想：图像重叠区域中像素点的灰度值P由两幅图像中对应点的灰度值PH和Pa加权平均得到。
  - 去噪
    - 对于联通区域较小的背景噪声采取形态学运算的方法去除；
    - 对于连通区域面积较大的背景噪声采取设定阈值进行面积判断。
  - 结果
- 复杂情况研究讨论
  - 被枝叶遮挡，只能采集到西红柿的一部分图像————广义Hough变换的方法
  - 两颗西红柿连在一起————基于边界跟踪的分割算法
2、基于 Kinect 的视觉定位
- Kinect 简介
  - 实现机器人对西红柿的自动采摘，关键是获得西红柿准确的空间位置，以便为控制机械手动作提供参数。
  - 包含RGB彩色摄像头、红外发射器、红外线传感器。RGB彩色摄像头用于彩色图像的摄取，深度图像信息采用的是主动获取方式，红外发射器发射红外线，红外传感器对反射回来的红外线进行接收，通过对反射信息的处理，就能获得每个像素的深度值。
- 三维重建与目标定位
  - 利用Kinect获得RGB彩色信息和深度信息；
  - 对彩色图像进行分割，在分割结果中对联通区域分析，确定西红柿的数量及每个西红柿对应的像素点二维坐标；
  - 根据公式，得到每个西红柿质心的二维坐标；
  - 根据Kinect得到的深度图像中对应像素点的深度值，利用OpenCV的reprojectimageTo3D函数，计算出每个西红柿质心的三维坐标。
3、结论
- 对西红柿自动识别问题进行了分析，提出了根据颜色分通道，融合HSI和Lab的分割结果完成对西红柿的识别，对现场采集的50组样本图像进行实验，能够从各种复杂的背景中将西红柿分割出来，轮廓清晰图像饱满。
- 用 Kinect 代替双目摄像头，对深度图像进行三维重建，得到目标西红柿质心的空间坐标值完成定位，搭建实验平台对模型中的西红柿目标进行定位试验，试验结果表明该方法定位稳定，准确度高。
- 本文提出的识别和定位方法不仅仅适用于西红柿，对方法稍加修改可用于对草莓、樱桃等红色蔬菜或水果的自动识别。