口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它...

本文主要是介绍口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转自:机器之心

这两天,美国女歌星霉霉(泰勒・斯威夫特)一则说中文的短视频在各社交平台火了起来。有的播放量已经达到了 600 多万。

在视频里,霉霉操着一口流利、地道的中文,神情自若,几乎没有早期译制片女主角的那种腔调,口型也能对得上。

ab83b9db2be3d281440ee81971f27de8.png

图源:微博 @会火

还没有看过视频的小伙伴们,我们先来一睹为快。

视频作者:johnhuu 教英语

感觉怎么样,是不是很神奇呢?

可以看到,不仅是霉霉,蕾切尔・布罗斯纳安、特朗普、艾玛・沃森、憨豆先生都掌握了一口正宗的中文。此外,小品演员蔡明在吐槽大会上「秀了一段流利的英文」。

作者表示,视频制作中有三个重要的因素:掌握地道的口语翻译、语音克隆和替换嘴型,每个步骤都要做好。不过,他没有说明用到的具体模型是什么。

d106c200992287ccdacdb06e6fc4f405.png

视频火了之后,更多的人开始了新的尝试,也让我们了解到了视频背后使用到的 AI 生成工具 ——HeyGen。

推特用户 @Gorden_Sun 同样制作了一段霉霉说中文的视频,这次口型完美,卡点和嘴型都对得上。有人评论到,「音色其实也很像了。」

作者表示,视频里面的翻译是 HeyGen 自动完成的,质量可能不太好,他只需要上传视频并选择要翻译的语言就行了。

视频字幕是作者自己加的,HeyGen 没有该功能。此外视频人物在情感还原度方面仍有欠缺。

610192c7c71d59158a53d025b840eddd.png

不过,HeyGen 虽然可以免费试用,但需要等待很长时间。懂技术的小伙伴也可以寻找开源替代方案,比如语音转文字 whisper、文字翻译 GPT、声音克隆 + 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace++。

除了中英互换之外,国外还有人尝试将英语翻译成日语,效果同样很不错。他表示,该视频同样是使用 HeyGen 做的。

2f3755209ef165753b9f60cd7048765b.png

原始英文视频如下:

转换后日语视频如下:

还有更离谱的是,有人使用 HeyGen 制作了说多达 6 种不同语言的视频。对此有人评价称,「HeyGen 将成为内容创造领域的搅局者。」

a97b042cef62631ff5b24ace2abb9012.png

那么,这个 HeyGen 是什么来头呢?原来它在两个多月前就生成过一段爆火视频。

HeyGen:做不输 Midjourney 的 AI 视频生成器

当时,HeyGen 生成了一个超逼真的数字人,还是创始人 Joshua Xu 亲自上阵。人物的表情、动作、脸部微表情等等,都活灵活现地展现在你眼前。

HeyGen 的这段视频掀起了一阵热潮,但是因为还有一些效果缺陷,大家更加期待改善后的版本。

7b97a6aa56144ae604bdef4f603ca129.gifHeyGen 创始人 Joshua Xu 的 AI 生成数字人,眨眼频率过高

HeyGen 背后的公司名叫诗云科技,成立于 2020 年。他们最初致力于做 AI 数字人生成,创始人 Joshua Xu 曾在 Snapchat 担任主要工程师,负责机器学习领域。

Joshua Xu 曾发博客表示,自 2022 年 7 月产品发布以来,历时 178 天,该公司 ARR (annual recurring revenue)已达到 100 万美元。

4438a25224a02ee19657787e28359e3d.jpeg

HeyGen 为用户提供更加便宜、省时的视频制作方法。这打破了传统视频制作中费用高昂、周期长、人员杂乱和设备需求高等问题。

参考链接:https://www.sohu.com/a/711139471_99985415

这篇关于口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/713401

相关文章

用js控制视频播放进度基本示例代码

《用js控制视频播放进度基本示例代码》写前端的时候,很多的时候是需要支持要网页视频播放的功能,下面这篇文章主要给大家介绍了关于用js控制视频播放进度的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言html部分:JavaScript部分:注意:总结前言在javascript中控制视频播放

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

电脑提示找不到openal32.dll文件怎么办? openal32.dll丢失完美修复方法

《电脑提示找不到openal32.dll文件怎么办?openal32.dll丢失完美修复方法》openal32.dll是一种重要的系统文件,当它丢失时,会给我们的电脑带来很大的困扰,很多人都曾经遇到... 在使用电脑过程中,我们常常会遇到一些.dll文件丢失的问题,而openal32.dll的丢失是其中比较

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

使用DrissionPage控制360浏览器的完美解决方案

《使用DrissionPage控制360浏览器的完美解决方案》在网页自动化领域,经常遇到需要保持登录状态、保留Cookie等场景,今天要分享的方案可以完美解决这个问题:使用DrissionPage直接... 目录完整代码引言为什么要使用已有用户数据?核心代码实现1. 导入必要模块2. 关键配置(重点!)3.

jvm调优常用命令行工具详解

《jvm调优常用命令行工具详解》:本文主要介绍jvm调优常用命令行工具的用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一 jinfo命令查看参数1.1 查看jvm参数二 jstack命令2.1 查看现场堆栈信息三 jstat 实时查看堆内存,gc情况3.1

Python实现html转png的完美方案介绍

《Python实现html转png的完美方案介绍》这篇文章主要为大家详细介绍了如何使用Python实现html转png功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 1.增强稳定性与错误处理建议使用三层异常捕获结构:try: with sync_playwright(