一文读懂Web Codecs API:浏览器背后的媒体魔术师

2024-06-13 12:04

本文主要是介绍一文读懂Web Codecs API:浏览器背后的媒体魔术师,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

​在早期的Web 网页中,视频播放通常要依靠 FlashSilverlight 等插件来完成,浏览器是不支持直接播放视频的。

随着网络技术的发展,视频这种媒体方式的需求变得普遍,HTML5中,出现了一个新的元素Video,使得我们可以不借助插件播放视频。

当然,它并不支持所有的格式,而且不同的浏览器厂商支持的格式也有所不同,为什么会出现只支持部分格式?

​在 Web 中,能实现无插件播放的有3GP、 ADTS、Flac、Mpeg-4、Ogg、Mov、WebM等,为什么能播放这些呢?

其实就是浏览器内置了相关的解码器,使得我们可以对其解码播放,反之,没有对应解码器,就无法进行播放。

视频播放的步骤

大致如下:

​当然,我们今天的主角并不是 Video 元素,我们的主角是 Web Codecs Api

​什么是 Web Codecs ,顾名思义,就是 Web 中的编码解码器。

对谁编码和解码?对视频和音频

旗下主要有 AudioDecodeVideoDecoderAudioEncoderVideoEncoder 这四大将。

能干啥?能获得到对视频流的单个帧和音频数据块的底层访问能力,实现完全控制媒体。

​例子:使用 Web CodecsMP4(H264) 获取数据、解封装播放。

我们所见到的视频文件,里面往往包含视频和音频,视频其实是像幻灯片一样,由一张一张的图像组成。

而视频文件,就是一堆图像数据和音频组合起来的,通过特定的编码压缩,通过特定的协议存储。

反过来可以通过解协议、解封装、解码来进行播放。

第一步:解协议解封装。

一个MP4视频文件大致由以上部分组成。这里我们使用的是 MP4Box.js 进行解封装。

解封装获取文件的信息后,我们就需要配置解码器,需要用到的解码器有视频解码器和音频解码器,对解码后的数据进行处理就能用于播放。

基本的流程如下:

代码实现

使用类封装

// 使用MP4 Box 解封装
import Mp4box from 'mp4box'// 非worker模式export default class VideoPlayer {// options 暂时只有一个renderCanvasconstructor(options) {// 解码器this.$codecs = new Codecs(this.output.bind(this))// 渲染器this.$render = new Render(options.renderCanvas)}// 输出output(type, data) {// 输出if(type === 'frame') {this.$render.render(data)} else {this.$render.playAudio(data)}// 销毁帧data.close()}// 加载文件loadFile(file) {return new Promise((resolve, reject) => {file.arrayBuffer().then((buffer) => {buffer.fileStart = 0this.$codecs.codecFile(buffer)resolve(true)}).catch((e) => {reject(e)})})}
}

渲染类封装

// 渲染类
class Render {constructor(canvas) {this.canvas = canvasthis.ctx = canvas.getContext('2d')this.audioCtx = new AudioContext()this.audioOutput = this.audioCtx.destinationthis.interleavingBuffers = []this.trackGenerator = new MediaStreamTrackGenerator({ kind: "audio" });this.writer = this.trackGenerator.writable.getWriter()const audio = document.createElement('audio')audio.setAttribute('controls', 'controls')document.body.appendChild(audio)const mediaStream = new MediaStream([this.trackGenerator]);audio.srcObject = mediaStream;}render(frame) {const { canvas, ctx } = thiscanvas.width = frame.displayWidthcanvas.height = frame.displayHeightctx.fillStyle = '#f00'ctx.clearRect(0, 0, frame.displayWidth, frame.displayHeight)ctx.drawImage(frame, 0, 0, frame.displayWidth, frame.displayHeight)}playAudio(audioData) {this.bufferAudioData(audioData)}bufferAudioData(audioData) {const data = structuredClone(audioData)this.writer.write(audioData)}
}

解码类封装

class Codecs {// 初始化MP4public $M: any = Mp4box.createFile();constructor(output = (type, frame) => {}) {// 初始化this.$M.onReady = this.onReady.bind(this);this.$M.onSamples = this.onSamples.bind(this);// 视频解码器this.$videoCodec = new VideoDecoder({output(frame: any) {output('frame', frame);},error(e: any) {console.error(e);},});// 音频解码器this.$audioCodec = new AudioDecoder({output: (audioData: any) => {output('audioData', audioData);},error: (e: any) => {console.error(e);},});}// 当准备好了之后onReady(info: any) {const videoTrack = info.videoTracks[0];const videoConfig = {codec: videoTrack.codec,codedHeight: videoTrack.video.height,codedWidth: videoTrack.video.width,description: this.description(videoTrack),};const audioTrack = info.audioTracks[0];const audioConfig = {codec: audioTrack.codec,sampleRate: 48000,numberOfChannels: 2,description: this.description(audioTrack),};// 是否支持编码标准VideoDecoder.isConfigSupported(videoConfig).then((res) => {this.$videoCodec.configure(videoConfig);this.$M.setExtractionOptions(videoTrack.id);AudioDecoder.isConfigSupported(audioConfig).then((res) => {this.$audioCodec.configure(audioConfig);this.$M.setExtractionOptions(audioTrack.id);this.$M.start();});});}// 获取解码器的描述,才能完整解码description(track) {const trak = this.$M.getTrackById(track.id);console.log('trak', trak);for (const entry of trak.mdia.minf.stbl.stsd.entries) {if (entry.avcC || entry.hvcC) {const stream = new Mp4box.DataStream(undefined,0,Mp4box.DataStream.BIG_ENDIAN);if (entry.avcC) {entry.avcC.write(stream);} else {entry.hvcC.write(stream);}return new Uint8Array(stream.buffer, 8); // Remove the box header.}if (entry.esds) {return entry.esds.esd.descs[0].descs[0].data;}}throw 'avcC or hvcC not found';}// MP4Box 传出的样本onSamples(track_id: any, ref: any, samples: any) {if (track_id === 2) {this.decodeAudio(samples);} else {this.decodeVideo(samples);}}// 解码视频decodeVideo(samples) {for (const sample of samples) {const data = new EncodedVideoChunk({type: sample.is_sync ? 'key' : 'delta',timestamp: (1e6 * sample.cts) / sample.timescale,duration: (1e6 * sample.duration) / sample.timescale,data: sample.data,});this.$videoCodec.decode(data);}}// 解码音频decodeAudio(samples) {for (const sample of samples) {const data = new EncodedAudioChunk({type: sample.is_sync ? 'key' : 'delta',timestamp: (1e6 * sample.cts) / sample.timescale,duration: (1e6 * sample.duration) / sample.timescale,data: sample.data,});this.$audioCodec.decode(data);}}// 开始解码codecFile(file: File | ArrayBuffer) {if (file instanceof File) {file.arrayBuffer().then((buffer) => {this.$M.appendBuffer(buffer);this.$M.flush();});} else if (file instanceof ArrayBuffer) {this.$M.appendBuffer(file);this.$M.flush();}}
}

以上就是 Web Codes Api 的一个小案例,实现了基本的解码播放。

– 欢迎点赞、关注、转发、收藏【我码玄黄】,gonghao同名

这篇关于一文读懂Web Codecs API:浏览器背后的媒体魔术师的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1057250

相关文章

JSON Web Token在登陆中的使用过程

《JSONWebToken在登陆中的使用过程》:本文主要介绍JSONWebToken在登陆中的使用过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录JWT 介绍微服务架构中的 JWT 使用结合微服务网关的 JWT 验证1. 用户登录,生成 JWT2. 自定义过滤

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML

一文教你如何将maven项目转成web项目

《一文教你如何将maven项目转成web项目》在软件开发过程中,有时我们需要将一个普通的Maven项目转换为Web项目,以便能够部署到Web容器中运行,本文将详细介绍如何通过简单的步骤完成这一转换过程... 目录准备工作步骤一:修改​​pom.XML​​1.1 添加​​packaging​​标签1.2 添加

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

一文带你了解SpringBoot中启动参数的各种用法

《一文带你了解SpringBoot中启动参数的各种用法》在使用SpringBoot开发应用时,我们通常需要根据不同的环境或特定需求调整启动参数,那么,SpringBoot提供了哪些方式来配置这些启动参... 目录一、启动参数的常见传递方式二、通过命令行参数传递启动参数三、使用 application.pro

使用DrissionPage控制360浏览器的完美解决方案

《使用DrissionPage控制360浏览器的完美解决方案》在网页自动化领域,经常遇到需要保持登录状态、保留Cookie等场景,今天要分享的方案可以完美解决这个问题:使用DrissionPage直接... 目录完整代码引言为什么要使用已有用户数据?核心代码实现1. 导入必要模块2. 关键配置(重点!)3.

一文带你深入了解Python中的GeneratorExit异常处理

《一文带你深入了解Python中的GeneratorExit异常处理》GeneratorExit是Python内置的异常,当生成器或协程被强制关闭时,Python解释器会向其发送这个异常,下面我们来看... 目录GeneratorExit:协程世界的死亡通知书什么是GeneratorExit实际中的问题案例

一文详解SQL Server如何跟踪自动统计信息更新

《一文详解SQLServer如何跟踪自动统计信息更新》SQLServer数据库中,我们都清楚统计信息对于优化器来说非常重要,所以本文就来和大家简单聊一聊SQLServer如何跟踪自动统计信息更新吧... SQL Server数据库中,我们都清楚统计信息对于优化器来说非常重要。一般情况下,我们会开启"自动更新

一文详解kafka开启kerberos认证的完整步骤

《一文详解kafka开启kerberos认证的完整步骤》这篇文章主要为大家详细介绍了kafka开启kerberos认证的完整步骤,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、kerberos安装部署二、准备机器三、Kerberos Server 安装1、配置krb5.con