python+人脸识别+opencv实现真实人脸驱动的阿凡达(上)

2023-11-23 10:40

本文主要是介绍python+人脸识别+opencv实现真实人脸驱动的阿凡达(上),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 一、前言
  • 二、技术路线
  • 三、主要技术点分析
    • (1) 人脸识别模块特征点的漂移
    • (2) 柔性运动与刚性运动的处理
      • setp1 基于人脸特征点的三角剖分
      • setp2 基于三角映射的仿射变换
    • (3) 正脸转侧脸的处理
  • 四、小结

一、前言

我们在此前的名叫python+opencv实现人脸微整形博文里已经简单地实现了人脸图像的微形变,为人脸驱动一个虚拟人脸提供了一些基础,但是运行性能上面需要优化,因为要想用人脸特征点实时驱动,需要非常快速的响应时间。目前国内外高等院校利用深度学习、生成神经网络等技术取得了较大的进展,由于神经网络需要耗费大量的算力,动则需要1万元以上的显卡3块并训练3个星期,不是个人能玩得,本篇试图利用简单图像处理原理继续深入探究人脸驱动应用,作一下入门级研究,目标是基于人脸识别出的特征点(如眉毛、眼睛、嘴唇)并计算相机的相对于人脸的朝向,简单实现真人脸微表情驱动一张虚拟人脸,虚拟人脸可以是一个二次元人脸、一个卡通脸或者是另一个AI生成的真人脸。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

二、技术路线

在这里插入图片描述
如上图所示,主要技术路线是:首先,通过摄像头实时捕捉人脸,并通过人脸识别软件模块获取真实人脸得特征点(如下图):
在这里插入图片描述
然后将特征点映射至数字人得对应特征点上,形成运动的主从运动映射(即,主动特征点产生偏移dx、dy,那么从动点也使得发生偏移),这样就实现了人脸驱动的功能,如下图的人眼球运动,通过人脸检测,获取眼球的位置点作为驱动点,当眼球发生偏移,数字人从动点眼睛也发生变化了。
在这里插入图片描述

三、主要技术点分析

虽然以上的技术路线看起来比较简单,但是我们通过前期的测试发现,要可靠的运行,还存在一些比较底层的问题需要优化或者解决,主要包括:

(1) 人脸识别模块特征点的漂移

人脸识别模块我们可以通过多种开源程序获得,这里我们使用的是python库——face_recognition,识别较为准确,但是识别出的特征点存在飘逸,如果直接将模块识别出的特征点映射到阿凡达从动点,会出现随机微小的抖动,显得非常的不自然。
我们主要采用设置时间窗口,并进行均值计算,在不牺牲实时性的前提下用平均值代替瞬时值,起到了一定的滤波效果。后续再碰到此来问题,还将尝试其它消除稳定性的算法,本次代码部分如下:

    if firstloop and ticktak<6:  #时间周期设为5个循环时间       rig_center_xs0.append(rig_center_x)rig_center_ys0.append(rig_center_y)if firstloop and ticktak>=6:#大于5个周期,为下一个间隔数据  rig_center_xs.append(rig_center_x)rig_center_ys.append(rig_center_y)         if ticktak>10:ticktak=0screen.blit(bg_img, (0, 0))count=0while len(rig_center_xs0):#计算k-1间隔平均值count+=1rig_center_x0=rig_center_x0+rig_center_xs0.popleft() rig_center_y0=rig_center_y0+rig_center_ys0.popleft()            rig_center_x0=int(rig_center_x0/count)            rig_center_y0=int(rig_center_y0/count)count=0while len(rig_center_xs):#计算k间隔平均值count+=1rig_center_x1=rig_center_x1+rig_center_xs.popleft() rig_center_y1=rig_center_y1+rig_center_ys.popleft()            rig_center_x1=int(rig_center_x1/count)            rig_center_y1=int(rig_center_y1/count)#计算两个窗口期的偏移量,用于驱动数字人对应从动点deyesx=rig_center_x1-rig_center_x0deyesy=rig_center_y1-rig_center_y0        

(2) 柔性运动与刚性运动的处理

同一视角下,人脸的运动点可以认为是刚性运动+柔性运动的组合结果。所谓的刚性运动,是运动部位不产生自身的形变,人脸上眼球、牙齿、鼻子、耳朵等的运动可以认为是刚性的运动;所谓柔性运动,这里指的是运动的部位产生了形变、弯曲、拉扯等,如表情中眉毛的微微变形、嘴巴的张大缩小、眼睛的睁大等。
在此前的博文中我们采用“控制点位置变化来影响周边的像素点的变化”的原理来实现局部的变形,但是由于需要便利所有的像素点计算量比较大,实际生成应用存在一定的性能瓶颈。受到linve2d技术(一种应用于电子游戏的绘图渲染技术)的启发,可以应用可自定义的三角剖分,加上局部仿射变换进行所控图像的任意柔性变形!主要解决的思路如下:

setp1 基于人脸特征点的三角剖分

首先我们根据人脸识别模块获得正面人脸的特征点,并利用三角剖分算法对人脸进行三角分割:
在这里插入图片描述
然后在数字人中自定义映射点,并根据所得到的剖分也进行三角形分割。
在这里插入图片描述
在这里插入图片描述
这样就实现了一一对应,当然这个工作需要做细致,并进行反复的调试。

setp2 基于三角映射的仿射变换

这一步是要根据所得到的三角,对每个三角部分进行前后帧的仿射变换,我们可以利用opencv自带的工具进行计算,先计算仿射变换矩阵,再利用cv2.warpAffine进行变换:

        # 计算仿射阵        WMat = cv2.getAffineTransform( np.float32(tri1), np.float32(tri2) )              # 根据仿射阵计算目标图像img2Cropped = cv2.warpAffine( img1, WMat, (r2[2], r2[3]), None, flags=cv2.INTER_LINEAR, borderMode=cv2.BORDER_REFLECT_101 )

这样将所有的三角块都遍历一遍,就完成了整个人脸的柔性变形!

(3) 正脸转侧脸的处理

由于我们入门级的数字人只是一个二维的正脸图像,没有三维的信息,如何让她动起来(左右微微摇头),从而产生更加仿真的结果。这块未经过测试,在本篇先不予以说明,待测试完后在后续博文中发出。

四、小结

上篇就到此浅尝则至了,以上所描述的技术我们一步一步敲代码,运行测试调试,用python已经写到了730行,这可能仅仅只是开始,过程非常耗时间,当完成一个初步应用后,我们打算把这个程序开源,希望得到更多人的助力。

这篇关于python+人脸识别+opencv实现真实人脸驱动的阿凡达(上)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/417363

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同