Web前端JS如何获取 Video/Audio 视音频声道(左右声道|多声道)、视音频轨道、音频流数据

2023-12-03 20:04
文章标签 音频 数据 web js 前端 获取 frontend audio 左右 video 视音频 轨道 声道 多声道

本文主要是介绍Web前端JS如何获取 Video/Audio 视音频声道(左右声道|多声道)、视音频轨道、音频流数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

写在前面：

根据Web项目开发需求，需要在H5页面中，通过点击视频列表页中的任意视频进入视频详情页，然后根据视频的链接地址，主要是 .mp4 文件格式，在进行播放时实时的显示该视频的音频轨道情况，并实时的将各音频轨道数据以可视化（响度跳表）的形式展现出来。

实现效果

在这里插入图片描述

关键技术

在Web浏览器中，想要获取多媒体文件的相关数据信息，需要借助对应的API来完成，比如获取视音文件的音频信息，就需要用到Web Audio API，通过该API我们可以轻松做到播放声音、获取声音数据，修改声音数据、甚至还可以制造声音。

Web Audio API

Web Audio API 提供了在 Web 上控制音频的一个非常有效通用的系统，允许开发者来自选音频源，对音频添加特效，使音频可视化，添加空间效果（如平移），等等。
它可以设置不同的音频来源（包括节点、 ArrayBuffer 、用户设备等），对音频添加音效，生成可视化图形等。
Web Audio API 使用户可以在音频上下文（AudioContext）中进行音频操作，具有模块化路由的特点。在音频节点上操作进行基础的音频，它们连接在一起构成音频路由图。
即使在单个上下文中也支持多源，尽管这些音频源具有多种不同类型通道布局。这种模块化设计提供了灵活创建动态效果的复合音频的方法。

Web Audio API 是 JavaScript 中主要用于在网页应用中处理音频请求的一个高级应用接口，这个 API 目的是用于让最新技术与传统的游戏音频引擎的综合处理相兼容，也即尽力提供一些桌面音频处理程序的要求。

  • 查看音频播放期间调度事件发生的确切时间；
  • 支持各种类型的音频过滤波器以实现各种效果，包括回声、消除噪音等；
  • 支持利用合成声音（Sound synthesis）创建电子音乐；
  • 支持3D位置音频模拟效果，比如某种声音随着游戏场景而移动；
  • 支持外部输入的声音与 WebRTC 进行集成（调用 WebRTC ，在你的设备中增添吉他声），或者在 - WebRTC 中调用其他地方传输过来的声音；
  • 利用音频数据分析创造良好的可视化声音等。

了解更多API：
https://www.w3.org/TR/webaudio、https://developer.mozilla.org/zh-CN/docs/Web/API/Web_Audio_API

实例代码

1. HTML标签

由于video和audio都有音频，所以我们可以video或者audio来获取输入源，除此以外，我们还可以通过 navigator.getUserMedia API 或 Ajax请求的方式来获取输入源。

<video loop controls><source src="./media/xxx.mp4" type="video/mp4" />
</video>
<audio loop controls><source src="./media/xxx.mp3" type="audio/mp3" />
</audio>
2.JavaScript代码

在创建AudioContext 上下文环境对象时， 由于浏览器安全策略要求音频上下文必须在用户事件（单击、键盘按键等）中启用。这意味着，如果您尝试在没有用户事件的情况下自动播放音乐，所以在loadedmetadata元数据已加载时再执行！！

// 创建一个 AudioContext 环境
const ac = new (window.AudioContext || window.webkitAudioContext)();// 从 video 或 audio 标签元素中拿到输入源
const audio = document.querySelector("video");
// const audio = document.querySelector("audio");// 创建并获取输入源
const audioSource = ac.createMediaElementSource(audio);
// 音频通道数 默认值是 2，最高能取 32
const channelCount = 2 || audioSource.channelCount;
// 创建音频处理器
const processor = ac.createScriptProcessor(2048, channelCount, channelCount);
// 链接音频处理器
audioSource.connect(processor).connect(ac.destination);
// connect到扬声器
audioSource.connect(ac.destination);// 监听音频处理器每次处理的样本帧
processor.onaudioprocess = (evt) => {//获取声轨1输入的缓冲区数据let input =evt.inputBuffer.getChannelData(0);//获取声轨1输出的缓冲区数据let output = evt.outputBuffer.getChannelData(0);
};
3. 完整实例代码

可以通过添加本地的视频 或 音频文件，来测试对应的声道，并实时的渲染到响度跳表中，需要注意的是，音频跳表从-60开始的原因主要是，当输出音量接近满载时，THD（总谐波失真）的表现会比较差，此时产生的谐波会盖掉原本存在的背景噪音，影响到测试成绩。因此，采用-60dB的测试信号。
音频跳表值通常在-60dB到+3dB之间。在音频设备测试中，跳表值反映了设备的频率响应和增益。不同的音频设备可能会有不同的跳表值范围，根据测试标准和设备要求而定。

<!DOCTYPE html>
<html lang="en"><head><meta charset="UTF-8" /><meta http-equiv="X-UA-Compatible" content="IE=edge" /><meta name="viewport" content="width=device-width, initial-scale=1.0" /><script async src="//hm.baidu.com/hm.js?f79493fc378b2235419a88daa91d5f6d"></script><title>Web前端JS如何获取 Video/Audio 视音频声道(左右声道|多声道)、视音频轨道、音频流数据</title><style>body {padding: 50px;}audio,input[type="file"] {width: 471px;}input[type="range"] {transform: rotate(-90deg);}button {font-size: 16px;}</style></head><body><h1>Web前端JS如何获取 Video/Audio 视音频声道(左右声道|多声道)、视音频轨道、音频流数据</h1><hr /><br /><br /><br /><button type="button" id="LBTN">左声道（L）</button><input type="range" id="L" min="-60" max="3" style="margin-left: 13px" />添加本地视音频：<input id="file" type="file" /><input type="range" id="R" min="-60" max="3" /><button type="button" id="RBTN">右声道（R）</button><br /><br /><div class="box"><button type="button" id="SLBTN">左环绕（SL）</button><input type="range" id="SL" min="-60" max="3" /><!--<audio  controls loop width="600"><source src="./media/xxx.mp3" type="audio/mp3" /></audio>--><video  controls loop width="600"><source src="./media/xxx.mp4" type="video/mp4" /></video><input type="range" id="SR" min="-60" max="3" /><button type="button" id="SRBTN">右环绕（SR）</button></div><script>// 获取本地视音频file.addEventListener("change", function () {const file = this.files[0];console.log(file);if ("video/mp4".startsWith("video")) {// video.src = window.URL.createObjectURL(file);audio.src = window.URL.createObjectURL(file);} else {audio.src = window.URL.createObjectURL(file);}});// 计算音频跳表数据const getDbFromFloat = (floatVal) => {return  (Math.log(10) / Math.log(floatVal)) * 20;};const audio = document.querySelector("video");let ac = null;// 音频元数据加载后执行audio.addEventListener("loadedmetadata", () => {// 上下文对象 由于浏览器安全策略要求音频上下文必须在用户事件（单击、键盘按键等）中启用。这意味着，如果您尝试在没有用户事件的情况下自动播放音乐，所以在loadedmetadata元数据已加载时再执行！！ac = new (window.AudioContext || window.webkitAudioContext)();// 创建并获取输入源const audioSource = ac.createMediaElementSource(audio);// 缓冲区大小 取值为 2 的幂次方的一个常数const bufferSize = 2048;// 音频通道数 默认值是 2，最高能取 32const channelCount = 4 || audioSource.channelCount;// 创建音频处理器const processor = ac.createScriptProcessor(bufferSize, channelCount, channelCount);// 链接音频处理器audioSource.connect(processor).connect(ac.destination);// 链接到扬声器audioSource.connect(ac.destination);audio.play();// 监听音频处理器每次处理的样本帧processor.onaudioprocess = (evt) => {// console.log("音频通道数：", evt.inputBuffer.numberOfChannels);//获取声轨1输入的缓冲区数据// evt.inputBuffer.getChannelData(0);//获取声轨1输出的缓冲区数据// evt.outputBuffer.getChannelData(0);{// 声轨1let input = evt.inputBuffer.getChannelData(0),len = input.length,i = 0;while (i < len) {L.value = getDbFromFloat(input[i++]);}};{// 声轨2let input = evt.inputBuffer.getChannelData(1),len = input.length,i = 0;while (i < len) {R.value = getDbFromFloat(input[i++]);}};{// 声轨3let input = evt.inputBuffer.getChannelData(2),len = input.length,i = 0;while (i < len) {SL.value = getDbFromFloat(input[i++]);}};{// 声轨4let input = evt.inputBuffer.getChannelData(3),len = input.length,i = 0;while (i < len) {SR.value = getDbFromFloat(input[i++]);}};};}, false );// 监听音频播放时，激活当前播放audio.addEventListener('play', () => {ac.resume();}, false );// 监听音频暂停时，挂起当前播放audio.addEventListener('pause', () => {ac.suspend();}, false );</script></body>
</html>
4. 完整实例效果

在这里插入图片描述

扩展封装

Npm：https://www.npmjs.com/package/mu-tooljs
GitHub：https://github.com/MuGuiLin/WebMediaAPI

这篇关于Web前端JS如何获取 Video/Audio 视音频声道(左右声道|多声道)、视音频轨道、音频流数据的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/450708。

相关文章

Vue3 的 shallowRef 和 shallowReactive：优化性能

Vue3 的 shallowRef 和 shallowReactive：优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉，那么对 shallowRef 和 shallowReactive 是否了解呢？ 在编程和数据结构中，“shallow”（浅层）通常指对数据结构的最外层进行操作，而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素，而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层（Shallow） 定义
阅读更多...
JS常用组件收集

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件，方便以后开发的时候查找！！！ 函数工具： Lodash 页面固定： stickUp、jQuery.Pin 轮播： unslider、swiper 开关: switch 复选框： icheck 气泡： grumble 隐藏元素： Headroom
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
这15个Vue指令，让你的项目开发爽到爆

这15个Vue指令，让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件，按住 Control 和回车键再显示它吗？小菜一碟： <template
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
【 html+css 绚丽Loading 】000046 三才归元阵

【 html+css 绚丽Loading 】000046 三才归元阵

前言：哈喽，大家好，今天给大家分享html+css 绚丽Loading！并提供具体代码帮助大家深入理解，彻底掌握！创作不易，如果能帮助到大家或者给大家一些灵感和启发，欢迎收藏+关注哦 💕 目录 📚一、效果📚二、信息💡1.简介：💡2.外观描述：💡3.使用方式：💡4.战斗方式：💡5.提升：💡6.传说： 📚三、源代码，上代码，可以直接复制使用🎥效果🗂️目录✍️
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2