python+人脸识别+opencv实现真实人脸驱动的阿凡达(上)

2023-11-23 10:40

本文主要是介绍python+人脸识别+opencv实现真实人脸驱动的阿凡达(上),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 一、前言
  • 二、技术路线
  • 三、主要技术点分析
    • (1) 人脸识别模块特征点的漂移
    • (2) 柔性运动与刚性运动的处理
      • setp1 基于人脸特征点的三角剖分
      • setp2 基于三角映射的仿射变换
    • (3) 正脸转侧脸的处理
  • 四、小结

一、前言

我们在此前的名叫python+opencv实现人脸微整形博文里已经简单地实现了人脸图像的微形变,为人脸驱动一个虚拟人脸提供了一些基础,但是运行性能上面需要优化,因为要想用人脸特征点实时驱动,需要非常快速的响应时间。目前国内外高等院校利用深度学习、生成神经网络等技术取得了较大的进展,由于神经网络需要耗费大量的算力,动则需要1万元以上的显卡3块并训练3个星期,不是个人能玩得,本篇试图利用简单图像处理原理继续深入探究人脸驱动应用,作一下入门级研究,目标是基于人脸识别出的特征点(如眉毛、眼睛、嘴唇)并计算相机的相对于人脸的朝向,简单实现真人脸微表情驱动一张虚拟人脸,虚拟人脸可以是一个二次元人脸、一个卡通脸或者是另一个AI生成的真人脸。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

二、技术路线

在这里插入图片描述
如上图所示,主要技术路线是:首先,通过摄像头实时捕捉人脸,并通过人脸识别软件模块获取真实人脸得特征点(如下图):
在这里插入图片描述
然后将特征点映射至数字人得对应特征点上,形成运动的主从运动映射(即,主动特征点产生偏移dx、dy,那么从动点也使得发生偏移),这样就实现了人脸驱动的功能,如下图的人眼球运动,通过人脸检测,获取眼球的位置点作为驱动点,当眼球发生偏移,数字人从动点眼睛也发生变化了。
在这里插入图片描述

三、主要技术点分析

虽然以上的技术路线看起来比较简单,但是我们通过前期的测试发现,要可靠的运行,还存在一些比较底层的问题需要优化或者解决,主要包括:

(1) 人脸识别模块特征点的漂移

人脸识别模块我们可以通过多种开源程序获得,这里我们使用的是python库——face_recognition,识别较为准确,但是识别出的特征点存在飘逸,如果直接将模块识别出的特征点映射到阿凡达从动点,会出现随机微小的抖动,显得非常的不自然。
我们主要采用设置时间窗口,并进行均值计算,在不牺牲实时性的前提下用平均值代替瞬时值,起到了一定的滤波效果。后续再碰到此来问题,还将尝试其它消除稳定性的算法,本次代码部分如下:

    if firstloop and ticktak<6:  #时间周期设为5个循环时间       rig_center_xs0.append(rig_center_x)rig_center_ys0.append(rig_center_y)if firstloop and ticktak>=6:#大于5个周期,为下一个间隔数据  rig_center_xs.append(rig_center_x)rig_center_ys.append(rig_center_y)         if ticktak>10:ticktak=0screen.blit(bg_img, (0, 0))count=0while len(rig_center_xs0):#计算k-1间隔平均值count+=1rig_center_x0=rig_center_x0+rig_center_xs0.popleft() rig_center_y0=rig_center_y0+rig_center_ys0.popleft()            rig_center_x0=int(rig_center_x0/count)            rig_center_y0=int(rig_center_y0/count)count=0while len(rig_center_xs):#计算k间隔平均值count+=1rig_center_x1=rig_center_x1+rig_center_xs.popleft() rig_center_y1=rig_center_y1+rig_center_ys.popleft()            rig_center_x1=int(rig_center_x1/count)            rig_center_y1=int(rig_center_y1/count)#计算两个窗口期的偏移量,用于驱动数字人对应从动点deyesx=rig_center_x1-rig_center_x0deyesy=rig_center_y1-rig_center_y0        

(2) 柔性运动与刚性运动的处理

同一视角下,人脸的运动点可以认为是刚性运动+柔性运动的组合结果。所谓的刚性运动,是运动部位不产生自身的形变,人脸上眼球、牙齿、鼻子、耳朵等的运动可以认为是刚性的运动;所谓柔性运动,这里指的是运动的部位产生了形变、弯曲、拉扯等,如表情中眉毛的微微变形、嘴巴的张大缩小、眼睛的睁大等。
在此前的博文中我们采用“控制点位置变化来影响周边的像素点的变化”的原理来实现局部的变形,但是由于需要便利所有的像素点计算量比较大,实际生成应用存在一定的性能瓶颈。受到linve2d技术(一种应用于电子游戏的绘图渲染技术)的启发,可以应用可自定义的三角剖分,加上局部仿射变换进行所控图像的任意柔性变形!主要解决的思路如下:

setp1 基于人脸特征点的三角剖分

首先我们根据人脸识别模块获得正面人脸的特征点,并利用三角剖分算法对人脸进行三角分割:
在这里插入图片描述
然后在数字人中自定义映射点,并根据所得到的剖分也进行三角形分割。
在这里插入图片描述
在这里插入图片描述
这样就实现了一一对应,当然这个工作需要做细致,并进行反复的调试。

setp2 基于三角映射的仿射变换

这一步是要根据所得到的三角,对每个三角部分进行前后帧的仿射变换,我们可以利用opencv自带的工具进行计算,先计算仿射变换矩阵,再利用cv2.warpAffine进行变换:

        # 计算仿射阵        WMat = cv2.getAffineTransform( np.float32(tri1), np.float32(tri2) )              # 根据仿射阵计算目标图像img2Cropped = cv2.warpAffine( img1, WMat, (r2[2], r2[3]), None, flags=cv2.INTER_LINEAR, borderMode=cv2.BORDER_REFLECT_101 )

这样将所有的三角块都遍历一遍,就完成了整个人脸的柔性变形!

(3) 正脸转侧脸的处理

由于我们入门级的数字人只是一个二维的正脸图像,没有三维的信息,如何让她动起来(左右微微摇头),从而产生更加仿真的结果。这块未经过测试,在本篇先不予以说明,待测试完后在后续博文中发出。

四、小结

上篇就到此浅尝则至了,以上所描述的技术我们一步一步敲代码,运行测试调试,用python已经写到了730行,这可能仅仅只是开始,过程非常耗时间,当完成一个初步应用后,我们打算把这个程序开源,希望得到更多人的助力。

这篇关于python+人脸识别+opencv实现真实人脸驱动的阿凡达(上)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/417363

相关文章

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档(如Word、Excel、PPT)是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一:WebView + Office Onl

C# foreach 循环中获取索引的实现方式

《C#foreach循环中获取索引的实现方式》:本文主要介绍C#foreach循环中获取索引的实现方式,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、手动维护索引变量二、LINQ Select + 元组解构三、扩展方法封装索引四、使用 for 循环替代

Spring Security+JWT如何实现前后端分离权限控制

《SpringSecurity+JWT如何实现前后端分离权限控制》本篇将手把手教你用SpringSecurity+JWT搭建一套完整的登录认证与权限控制体系,具有很好的参考价值,希望对大家... 目录Spring Security+JWT实现前后端分离权限控制实战一、为什么要用 JWT?二、JWT 基本结构

一文带你搞懂Python中__init__.py到底是什么

《一文带你搞懂Python中__init__.py到底是什么》朋友们,今天我们来聊聊Python里一个低调却至关重要的文件——__init__.py,有些人可能听说过它是“包的标志”,也有人觉得它“没... 目录先搞懂 python 模块(module)Python 包(package)是啥?那么 __in

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

C# Where 泛型约束的实现

《C#Where泛型约束的实现》本文主要介绍了C#Where泛型约束的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录使用的对象约束分类where T : structwhere T : classwhere T : ne