Kinect for windows的脸部识别

2023-12-08 17:58
文章标签 windows 识别 kinect 脸部

本文主要是介绍Kinect for windows的脸部识别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

需要引入的dll:

需要将下面两个dll复制到当前路径

Kinect for windows提供了脸部识别的功能,可以识出人脸。主要是通过FaceTrackFrame类的GetTriangles()来得到一个三角形数组,这个三角形数组就是给成人面部的基本形状,并且组成的效果是立体的(可以这样理解,可以把3D都拆成三角形来表示,看上去像3D,但其实是2D),这个数组的每个元素都存放着三个整数,分别代码三角形的第一个点,第二个点和第三个点。FaceTrackFrameGetProjected3DShape方法,可以获取一组坐标信息,这样就可以结合三角形数组元素中的点作为索引,从本方法的坐标集合中取出每个三角形的坐标点来了,就可以绘制这些三角形,就可以组成一个人脸的网络3D效果图了。

本例是从色彩摄像头中获取彩色数据流,并显示到窗体上,再通过FaceTracker得到得到脸部3D信息,并用GDI+的方式把网络图形画到窗体上,这时就可以在真实图像上看到浮着一张网络的面套。同时可以得出脸部交汇最多的坐标,并用GDI+添加上不同有色彩,同时还可以得到人体面部和Kinect 正面的偏差,即人头是否竖直,有没有偏上一边等角度信息。

using System;  
using System.Collections.Generic;  
using System.ComponentModel;  
using System.Data;  
using System.Drawing;  
using System.Linq;  
using System.Text;  
using System.Threading.Tasks;  
using System.Windows.Forms;  
using Microsoft.Kinect;  
using Microsoft.Kinect.Toolkit;  
using Microsoft.Kinect.Toolkit.FaceTracking;  
using System.Threading;  
using System.IO;  
using System.Drawing.Imaging;  
namespace Face  
{  
public partial class Form1 : Form  
{  
public Form1()  
{  
InitializeComponent();  
}  
KinectSensor ks = null;  
private void Form1_Load(object sender, EventArgs e)  
{  
//让winform窗体刷新不闪动  
this.SetStyle(ControlStyles.OptimizedDoubleBuffer, true);  
this.SetStyle(ControlStyles.AllPaintingInWmPaint, true);  
this.SetStyle(ControlStyles.UserPaint, true);  
this.SetStyle(ControlStyles.DoubleBuffer, true);  
//找到连接的Kinect设备  
foreach (var ks in KinectSensor.KinectSensors)  
{  
if (ks.Status == KinectStatus.Connected)  
{  
this.ks = ks;  
}  
}  
//开启色彩流,深度流,骨骼流的跟踪  
if (this.ks != null)  
{  
this.ks.ColorStream.Enable(ColorImageFormat.RgbResolution640x480Fps30);  
this.ks.DepthStream.Enable(DepthImageFormat.Resolution320x240Fps30);  
this.ks.DepthStream.Range = DepthRange.Near;  
this.ks.SkeletonStream.EnableTrackingInNearRange = true;  
this.ks.SkeletonStream.TrackingMode = SkeletonTrackingMode.Seated;  
this.ks.SkeletonStream.Enable();  
//订阅跟踪数据读取事件  
this.ks.AllFramesReady += OnAllFramesReady;  
ks.Start();  
}  
}  
//这个方法很重要,就是重绘人脸跟踪采集到的数据  
protected override void OnPaint(PaintEventArgs e)  
{  
base.OnPaint(e);  
foreach (SkeletonFaceTracker faceInformation in this.trackedSkeletons.Values)  
{  
//第一个参数为当前窗体为画布,第二个是添加采集到的信息到listbox中,这个方法画识别到脸部的信息  
faceInformation.DrawFaceModel(e.Graphics, Messbox_LB);  
}  
}  
//定义脸部识别的集合  
private readonly Dictionary<int, SkeletonFaceTracker> trackedSkeletons = new Dictionary<int, SkeletonFaceTracker>();  
//色彩流字节数组  
private byte[] colorImage;  
private ColorImageFormat colorImageFormat = ColorImageFormat.Undefined;  
//深度流字节数组  
private short[] depthImage;  
private DepthImageFormat depthImageFormat = DepthImageFormat.Undefined;  
//骨骼信息数组  
private Skeleton[] skeletonData;  
private void OnAllFramesReady(object sender, AllFramesReadyEventArgs allFramesReadyEventArgs)  
{  
ColorImageFrame colorImageFrame = null;  
DepthImageFrame depthImageFrame = null;  
SkeletonFrame skeletonFrame = null;  
try 
{  
colorImageFrame = allFramesReadyEventArgs.OpenColorImageFrame();     //接到色彩流对框架  
depthImageFrame = allFramesReadyEventArgs.OpenDepthImageFrame();     //接到深度流对框架  
skeletonFrame = allFramesReadyEventArgs.OpenSkeletonFrame();     //接到骨骼流对框架  
if (colorImageFrame == null || depthImageFrame == null || skeletonFrame == null)  
{  
return;  
}  
if (this.depthImageFormat != depthImageFrame.Format)  
{  
this.ResetFaceTracking();  
this.depthImage = null;  
this.depthImageFormat = depthImageFrame.Format;  
}  
if (this.colorImageFormat != colorImageFrame.Format)  
{  
this.ResetFaceTracking();  
this.colorImage = null;  
this.colorImageFormat = colorImageFrame.Format;  
}  
if (this.depthImage == null)  
{  
this.depthImage = new short[depthImageFrame.PixelDataLength];  
}  
if (this.colorImage == null)  
{  
this.colorImage = new byte[colorImageFrame.PixelDataLength];  
}  
if (this.skeletonData == null || this.skeletonData.Length != skeletonFrame.SkeletonArrayLength)  
{  
this.skeletonData = new Skeleton[skeletonFrame.SkeletonArrayLength];  
}  
//获取各种数据流信息  
colorImageFrame.CopyPixelDataTo(this.colorImage);  
depthImageFrame.CopyPixelDataTo(this.depthImage);  
skeletonFrame.CopySkeletonDataTo(this.skeletonData);  
//清空列表信息  
Messbox_LB.Items.Clear();  
//编历骨骼流  
foreach (Skeleton skeleton in this.skeletonData)  
{  
//找到有效的骨骼信息  
if (skeleton.TrackingState == SkeletonTrackingState.Tracked  
|| skeleton.TrackingState == SkeletonTrackingState.PositionOnly)  
{  
if (!this.trackedSkeletons.ContainsKey(skeleton.TrackingId))  
{  
//添加骨骼信息到集合中  
this.trackedSkeletons.Add(skeleton.TrackingId, new SkeletonFaceTracker());  
}  
// 得到脸部识别对象  
SkeletonFaceTracker skeletonFaceTracker;  
if (this.trackedSkeletons.TryGetValue(skeleton.TrackingId, out skeletonFaceTracker))  
{  
//把获取的数据流的相关信息传给OnFrameReady方法  
skeletonFaceTracker.OnFrameReady(Messbox_LB, this.ks, colorImageFormat, colorImage, depthImageFormat, depthImage, skeleton);  
skeletonFaceTracker.LastTrackedFrame = skeletonFrame.FrameNumber;  
}  
}  
}  
//这个刷新会触发窗体的重画,OnPaint方法会被调用。  
this.Refresh();  
//把色彩流转转成位图显示成窗体的背景  
this.BackgroundImage = ToGrayBitmap(colorImage, 640, 480);  
}  
finally 
{  
if (colorImageFrame != null)  
{  
colorImageFrame.Dispose();  
}  
if (depthImageFrame != null)  
{  
depthImageFrame.Dispose();  
}  
if (skeletonFrame != null)  
{  
skeletonFrame.Dispose();  
}  
}  
}  
//把色采流数据转成位图返回  
public static Bitmap ToGrayBitmap(byte[] rawValues, int width, int height)  
{  
//定议转换图片的格式,一个像素占32个,前24位为红绿蓝,后8位为空  
PixelFormat pf = PixelFormat.Format32bppRgb;  
//申请目标位图的变量  
Bitmap bmp = new Bitmap(width, height, pf);  
//将其内存区域锁定   
BitmapData bmpData = bmp.LockBits(new Rectangle(0, 0, width, height), ImageLockMode.WriteOnly, pf);  
//获取位图的起始地址  
IntPtr iptr = bmpData.Scan0;  
//用Marshal的Copy方法,将色彩流字节数组复制到BitmapData中   
System.Runtime.InteropServices.Marshal.Copy(rawValues, 0, iptr, rawValues.Length);  
//释放锁  
bmp.UnlockBits(bmpData);  
return bmp;  
}  
//重新设置识别对象  
private void ResetFaceTracking()  
{  
foreach (int trackingId in new List<int>(this.trackedSkeletons.Keys))  
{  
this.RemoveTracker(trackingId);  
}  
}  
//从集合中移动识别信息  
private void RemoveTracker(int trackingId)  
{  
this.trackedSkeletons[trackingId].Dispose();  
this.trackedSkeletons.Remove(trackingId);  
}  
private void Form1_FormClosing(object sender, FormClosingEventArgs e)  
{  
if (this.ks.Status == KinectStatus.Connected)  
{  
ks.Stop();  
}  
}  
//定义脸识别类  
class SkeletonFaceTracker : IDisposable  
{  
//定义脸部识别形状三角形数组  
private static FaceTriangle[] faceTriangles;  
//脸部识别坐标点集合  
private EnumIndexableCollection<FeaturePoint, Microsoft.Kinect.Toolkit.FaceTracking.PointF> facePoints;  
//脸部跟踪类  
private FaceTracker faceTracker;  
//定义识别成功标识  
private bool lastFaceTrackSucceeded;  
//骨骼跟踪状态  
private SkeletonTrackingState skeletonTrackingState;  
public int LastTrackedFrame { get; set; }  
public void Dispose()  
{  
if (this.faceTracker != null)  
{  
this.faceTracker.Dispose();  
this.faceTracker = null;  
}  
}  
//用来把识别的信息绘制出来  
public void DrawFaceModel(Graphics graphics, ListBox lb)  
{  
if (!this.lastFaceTrackSucceeded || this.skeletonTrackingState != SkeletonTrackingState.Tracked)  
{  
return;  
}  
List<System.Drawing.PointF> faceModelPts = new List<System.Drawing.PointF>();  
for (int i = 0; i < this.facePoints.Count; i++)  
{  
faceModelPts.Add(new System.Drawing.PointF(this.facePoints[i].X + 0.5f, this.facePoints[i].Y + 0.5f));  
}  
System.Drawing.Pen pen = new System.Drawing.Pen(System.Drawing.Color.Green);  
List<System.Drawing.PointF> list = new List<System.Drawing.PointF>();  
//遍历所有的三角形,分别画三角形  
for (int i = 0; i < faceTriangles.Count(); i++)  
{  
System.Drawing.PointF[] pointFarr = new System.Drawing.PointF[4];  
pointFarr[0] = faceModelPts[faceTriangles[i].First];  
pointFarr[1] = faceModelPts[faceTriangles[i].Second];  
pointFarr[2] = faceModelPts[faceTriangles[i].Third];  
pointFarr[3] = faceModelPts[faceTriangles[i].First];  
list.AddRange(pointFarr.Take(3));  
graphics.DrawLines(pen, pointFarr);  
}  
lb.Items.Add(list.GroupBy(f => f).Count() + "点");  
int count = list.GroupBy(f => f).Max(s => s.Count());  
lb.Items.Add(count);  
foreach (var v in list.GroupBy(f => f).Where(s => s.Count() == 10))  
{  
lb.Items.Add(v.Key + " " + 10);  
graphics.FillEllipse(new SolidBrush(System.Drawing.Color.Red), v.Key.X, v.Key.Y, 5, 5);  
}  
foreach (var v in list.GroupBy(f => f).Where(s => s.Count() == 9))  
{  
lb.Items.Add(v.Key + " " + 9);  
graphics.FillEllipse(new SolidBrush(System.Drawing.Color.Blue), v.Key.X, v.Key.Y, 5, 5);  
}  
foreach (var v in list.GroupBy(f => f).Where(s => s.Count() == 8))  
{  
lb.Items.Add(v.Key + " " + 8);  
graphics.FillEllipse(new SolidBrush(System.Drawing.Color.Black), v.Key.X, v.Key.Y, 5, 5);  
}  
}  
/// <summary>  
/// 数据更新的方法  
/// </summary>  
internal void OnFrameReady(ListBox lb, KinectSensor kinectSensor, ColorImageFormat colorImageFormat, byte[] colorImage, DepthImageFormat depthImageFormat, short[] depthImage, Skeleton skeletonOfInterest)  
{  
this.skeletonTrackingState = skeletonOfInterest.TrackingState;  
//判断是否为跟踪状态  
if (this.skeletonTrackingState != SkeletonTrackingState.Tracked)  
{  
return;  
}  
if (this.faceTracker == null)  
{  
try 
{  
//从KinectSensor中实例化出一个脸部识别对象  
this.faceTracker = new FaceTracker(kinectSensor);  
}  
catch (InvalidOperationException)  
{  
this.faceTracker = null;  
}  
}  
if (this.faceTracker != null)  
{  
//从脸部识别对象中得到脸识别框架  
FaceTrackFrame frame = this.faceTracker.Track(  
colorImageFormat, colorImage, depthImageFormat, depthImage, skeletonOfInterest);  
//标识识别成功  
this.lastFaceTrackSucceeded = frame.TrackSuccessful;  
if (this.lastFaceTrackSucceeded)  
{  
if (faceTriangles == null)  
{  
//得到脸部识别三角形数组  
faceTriangles = frame.GetTriangles();  
}  
//得到脸部识别点的坐标  
this.facePoints = frame.GetProjected3DShape();  
//加载脸部的空间位置  
lb.Items.Add("Rotation   仰低头:" + frame.Rotation.X);  
lb.Items.Add("Rotation   左右转头:" + frame.Rotation.Y);  
lb.Items.Add("Rotation   左右偏头:" + frame.Rotation.Z);  
}  
}  
}  
}  
}  
}  
}

这篇关于Kinect for windows的脸部识别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/470803

相关文章

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

在 Windows 上部署 gitblit

在 Windows 上部署 gitblit 在 Windows 上部署 gitblit 缘起gitblit 是什么安装JDK部署 gitblit 下载 gitblit 并解压配置登录注册为 windows 服务 修改 installService.cmd 文件运行 installService.cmd运行 gitblitw.exe查看 services.msc 缘起

Windows如何添加右键新建菜单

Windows如何添加右键新建菜单 文章目录 Windows如何添加右键新建菜单实验环境缘起以新建`.md`文件为例第一步第二步第三步 总结 实验环境 Windows7 缘起 因为我习惯用 Markdown 格式写文本,每次新建一个.txt后都要手动修改为.md,真的麻烦。如何在右键新建菜单中添加.md选项呢? 网上有很多方法,这些方法我都尝试了,要么太麻烦,要么不凑效

Windows下Nginx的安装及开机启动

1、将nginx-1.16.1.zip解压拷贝至D:\web\nginx目录下。 2、启动Nginx,两种方法: (1)直接双击nginx.exe,双击后一个黑色的弹窗一闪而过。 (2)打开cmd命令窗口,切换到nginx目录下,输入命令 nginx.exe 或者 start nginx ,回车即可。 3、检查nginx是否启动成功。 直接在浏览器地址栏输入网址 http://lo

Windows环境利用VS2022编译 libvpx 源码教程

libvpx libvpx 是一个开源的视频编码库,由 WebM 项目开发和维护,专门用于 VP8 和 VP9 视频编码格式的编解码处理。它支持高质量的视频压缩,广泛应用于视频会议、在线教育、视频直播服务等多种场景中。libvpx 的特点包括跨平台兼容性、硬件加速支持以及灵活的接口设计,使其可以轻松集成到各种应用程序中。 libvpx 的安装和配置过程相对简单,用户可以从官方网站下载源代码

C++实现俄罗斯方块(Windows控制台版)

C++实现俄罗斯方块(Windows控制台版) 在油管上看到一个使用C++控制台编写的俄罗斯方块小游戏,源代码200多行,B站上也有相关的讲解视频,非常不错,值得学习。 B站讲解视频地址为:【百万好评】国外技术大神C++游戏编程实战教程,油管580W收藏,新手10小时入门,并快速达到游戏开发能力(中英字幕) B站 CSDN博主千帐灯无此声还为此写了一篇博客:C++实现俄罗斯方块(源码+详解),讲

Windows下php扩展开发c++动态库

PHP扩展开发,从零了解到初步完成一个小项目,经过三天的仔细研究,现整理如下 一、需求介绍 PHP扩展开发,调用自己之前的c++动态库,完成功能 二、项目之前 系统:windows xp  开发工具:vs 2008 web环境:apache2.4  PHP5.3.29-VC9-ts-x86 aphach和PHP 环境之前已经搭建完成 PHP源码:去官网http://www.php.n

Clion不识别C代码或者无法跳转C语言项目怎么办?

如果是中文会显示: 此时只需要右击项目,或者你的源代码目录,将这个项目或者源码目录标记为项目源和头文件即可。 英文如下:

OpenStack镜像制作系列4—Windows Server2019镜像

本系列文章主要对如何制作OpenStack镜像的过程进行描述记录  CSDN:OpenStack镜像制作教程指导(全) OpenStack镜像制作系列1—环境准备 OpenStack镜像制作系列2—Windows7镜像 OpenStack镜像制作系列3—Windows10镜像 OpenStack镜像制作系列4—Windows Server2019镜像 OpenStack镜像制作系

Windows与linux中docker的安装与使用

windos中安装使用docker 下载Docker_Desktop 安装包进入docker官网下载Docker_Desktop: https://www.docker.com/ 启用wsl 我们搜索“启用或关闭Windows功能”,打开后勾选适用于Linux的Windows 子系统 Docker_Desktop设置 出现Docker Engine stopped的解决