tensorflow包_使用 MediaPipe 和 TensorFlow.js 在浏览器中追踪面部和手部

来源：TensorFlow

本文约2626字，建议阅读5分钟

本文介绍用于追踪面部和手部关键特征点的两个新包：Facemesh 和 Handpose。

近日我们发布了两个新包：Facemesh 和 Handpose，分别用于追踪面部和手部关键特征点。此次发布的包是 Google Research MediaPipe 和 TensorFlow.js 团队的合力之作。

在浏览器中试用实时演示版

Facemesh 包可以找到图像中的面部边界和特征点，而 Handpose 则可用于查找手部边界和特征点。这些包体积小、速度快，并且可以完全在浏览器中运行，因此数据永远不会离开用户设备，从而保障用户的隐私。您现在可使用以下链接试用这些软件包：

• Facemesh
• Handpose

这些包也已作为组件在 MediaPipe(用于构建多模式感知流水线的库)中提供：

• MediaPipe 面部追踪
• MediaPipe 手部姿势追踪

我们希望实时面部和手部追踪可以开启全新的交互模式：面部几何位置是面部表情分类的基础，而手部追踪是手势识别的第一步。我们很期待这类功能将如何进一步拓展互联网交互性和可访问性的应用。

深入了解：Facemesh

Facemesh 包仅需单个摄像头(无需深度传感器)输入，即可从图像或视频流中推理出近似 3D 的面部几何形状。该几何形状可通过特征定位面部的眼睛、鼻子和嘴唇等，包括嘴唇轮廓和面部轮廓等细节。这些信息可用于下游任务，例如面部表情分类(但不能用于身份识别)。有关模型在不同数据集中的性能详情，请参见我们的模型卡。此软件包也可通过 MediaPipe 获得。

性能表现

Facemesh 是轻量级包，仅占用约 3MB 的空间，非常适合在各种移动设备上进行实时推理。在测试时，请注意 TensorFlow.js 还会提供几种不同的后端供您选择，包括 WebGL 和带 XNNPACK