口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它...

本文主要是介绍口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它...,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转自:机器之心

这两天,美国女歌星霉霉(泰勒・斯威夫特)一则说中文的短视频在各社交平台火了起来。有的播放量已经达到了 600 多万。

在视频里,霉霉操着一口流利、地道的中文,神情自若,几乎没有早期译制片女主角的那种腔调,口型也能对得上。

ab83b9db2be3d281440ee81971f27de8.png

图源:微博 @会火

还没有看过视频的小伙伴们,我们先来一睹为快。

视频作者:johnhuu 教英语

感觉怎么样,是不是很神奇呢?

可以看到,不仅是霉霉,蕾切尔・布罗斯纳安、特朗普、艾玛・沃森、憨豆先生都掌握了一口正宗的中文。此外,小品演员蔡明在吐槽大会上「秀了一段流利的英文」。

作者表示,视频制作中有三个重要的因素:掌握地道的口语翻译、语音克隆和替换嘴型,每个步骤都要做好。不过,他没有说明用到的具体模型是什么。

d106c200992287ccdacdb06e6fc4f405.png

视频火了之后,更多的人开始了新的尝试,也让我们了解到了视频背后使用到的 AI 生成工具 ——HeyGen。

推特用户 @Gorden_Sun 同样制作了一段霉霉说中文的视频,这次口型完美,卡点和嘴型都对得上。有人评论到,「音色其实也很像了。」

作者表示,视频里面的翻译是 HeyGen 自动完成的,质量可能不太好,他只需要上传视频并选择要翻译的语言就行了。

视频字幕是作者自己加的,HeyGen 没有该功能。此外视频人物在情感还原度方面仍有欠缺。

610192c7c71d59158a53d025b840eddd.png

不过,HeyGen 虽然可以免费试用,但需要等待很长时间。懂技术的小伙伴也可以寻找开源替代方案,比如语音转文字 whisper、文字翻译 GPT、声音克隆 + 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace++。

除了中英互换之外,国外还有人尝试将英语翻译成日语,效果同样很不错。他表示,该视频同样是使用 HeyGen 做的。

2f3755209ef165753b9f60cd7048765b.png

原始英文视频如下:

转换后日语视频如下:

还有更离谱的是,有人使用 HeyGen 制作了说多达 6 种不同语言的视频。对此有人评价称,「HeyGen 将成为内容创造领域的搅局者。」

a97b042cef62631ff5b24ace2abb9012.png

那么,这个 HeyGen 是什么来头呢?原来它在两个多月前就生成过一段爆火视频。

HeyGen:做不输 Midjourney 的 AI 视频生成器

当时,HeyGen 生成了一个超逼真的数字人,还是创始人 Joshua Xu 亲自上阵。人物的表情、动作、脸部微表情等等,都活灵活现地展现在你眼前。

HeyGen 的这段视频掀起了一阵热潮,但是因为还有一些效果缺陷,大家更加期待改善后的版本。

7b97a6aa56144ae604bdef4f603ca129.gifHeyGen 创始人 Joshua Xu 的 AI 生成数字人,眨眼频率过高

HeyGen 背后的公司名叫诗云科技,成立于 2020 年。他们最初致力于做 AI 数字人生成,创始人 Joshua Xu 曾在 Snapchat 担任主要工程师,负责机器学习领域。

Joshua Xu 曾发博客表示,自 2022 年 7 月产品发布以来,历时 178 天,该公司 ARR (annual recurring revenue)已达到 100 万美元。

4438a25224a02ee19657787e28359e3d.jpeg

HeyGen 为用户提供更加便宜、省时的视频制作方法。这打破了传统视频制作中费用高昂、周期长、人员杂乱和设备需求高等问题。

参考链接:https://www.sohu.com/a/711139471_99985415

这篇关于口型几乎完美、还能卡点,霉霉说地道中文的视频火了,背后 AI 工具原来是它...的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/713401

相关文章

MySql match against工具详细用法

《MySqlmatchagainst工具详细用法》在MySQL中,MATCH……AGAINST是全文索引(Full-Textindex)的查询语法,它允许你对文本进行高效的全文搜素,支持自然语言搜... 目录一、全文索引的基本概念二、创建全文索引三、自然语言搜索四、布尔搜索五、相关性排序六、全文索引的限制七

基于Java实现回调监听工具类

《基于Java实现回调监听工具类》这篇文章主要为大家详细介绍了如何基于Java实现一个回调监听工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录监听接口类 Listenable实际用法打印结果首先,会用到 函数式接口 Consumer, 通过这个可以解耦回调方法,下面先写一个

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

JS+HTML实现在线图片水印添加工具

《JS+HTML实现在线图片水印添加工具》在社交媒体和内容创作日益频繁的今天,如何保护原创内容、展示品牌身份成了一个不得不面对的问题,本文将实现一个完全基于HTML+CSS构建的现代化图片水印在线工具... 目录概述功能亮点使用方法技术解析延伸思考运行效果项目源码下载总结概述在社交媒体和内容创作日益频繁的

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/

基于Python打造一个全能文本处理工具

《基于Python打造一个全能文本处理工具》:本文主要介绍一个基于Python+Tkinter开发的全功能本地化文本处理工具,它不仅具备基础的格式转换功能,更集成了中文特色处理等实用功能,有需要的... 目录1. 概述:当文本处理遇上python图形界面2. 功能全景图:六大核心模块解析3.运行效果4. 相

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

基于Python实现高效PPT转图片工具

《基于Python实现高效PPT转图片工具》在日常工作中,PPT是我们常用的演示工具,但有时候我们需要将PPT的内容提取为图片格式以便于展示或保存,所以本文将用Python实现PPT转PNG工具,希望... 目录1. 概述2. 功能使用2.1 安装依赖2.2 使用步骤2.3 代码实现2.4 GUI界面3.效

基于Python和MoviePy实现照片管理和视频合成工具

《基于Python和MoviePy实现照片管理和视频合成工具》在这篇博客中,我们将详细剖析一个基于Python的图形界面应用程序,该程序使用wxPython构建用户界面,并结合MoviePy、Pill... 目录引言项目概述代码结构分析1. 导入和依赖2. 主类:PhotoManager初始化方法:__in

使用Python自建轻量级的HTTP调试工具

《使用Python自建轻量级的HTTP调试工具》这篇文章主要为大家详细介绍了如何使用Python自建一个轻量级的HTTP调试工具,文中的示例代码讲解详细,感兴趣的小伙伴可以参考一下... 目录一、为什么需要自建工具二、核心功能设计三、技术选型四、分步实现五、进阶优化技巧六、使用示例七、性能对比八、扩展方向建