论文阅读[2023ICME]Edge-FVV: Free Viewpoint Video Streaming by Learning at the Edge

2023-12-07 02:36
文章标签 阅读 论文 free learning video edge streaming viewpoint 2023icme fvv

本文主要是介绍论文阅读[2023ICME]Edge-FVV: Free Viewpoint Video Streaming by Learning at the Edge，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Edge-FVV: Free Viewpoint Video Streaming by Learning at the Edge

会议信息：
Published in: 2023 IEEE International Conference on Multimedia and Expo (ICME)

作者：
在这里插入图片描述

1 背景

FVV允许观众从多个角度观看视频，但是如果所选视点的视频帧不能及时加载或者从相邻视点的多个视频流合成，用户可能会遇到延迟。

2 挑战

a.FVV视图合成过程可能会消耗大量的带宽和计算资源
b.更多边缘缓存可以减少每个用户虚拟视图合成延迟，但设置缓存越多，每个缓存可能存储更少的参考视点

3 贡献

a.提出了一种边缘辅助FVV系统edge-FVV
b.分析了缓存容量与延迟之间的关系，在虚拟视图合成的延迟和从服务器下载的延迟之间取得平衡

4 系统建模

4.1服务架构

在这里插入图片描述

a.Edge-FVV采用三层架构，由服务器、边缘缓存和用户组成
b.Edge-FVV中，选择一种易于实现的视频帧插值(VFI)方法补充两张原始参考图像之间缺失的视点
c.请求视点和合成的过程

4.2 容量与延迟的关系

部署的缓存越多，每个缓存所服务的用户就越少，从而导致缓存为用户服务所需的虚拟视图合成时间越少。
如果缓存服务的用户较少，则缓存中的引用视点数量可能较少，这反过来又会增加从服务器下载引用视点的可能性。

对于单个参考视频流𝑣𝑘被特定用户使用的概率是在这里插入图片描述

𝑣𝑘 在第i个缓存中没有任何用户使用的概率为在这里插入图片描述

𝑚𝑖表示存储在第i个边缘缓存中的参考视频的数量，其期望在这里插入图片描述

4.2.1 视频下载和合成的延迟

在这里插入图片描述

4.2.2 视频下载和合成的延迟

在这里插入图片描述

4.3 基于机器学习的用户分配

我们将第i个用户可以连接到的边缘缓存表示为该用户的代理集𝐴𝑖，并且Ai的大小为𝑁𝐴。
有两种不同的方式来匹配第i个用户的请求与附近的缓存
(1)分布式:每个用户自主连接到Ai中的代理
基于Multi-armed bandit的分配
(2)集中式:由拥有全局信息的服务器将用户分配给Ai中的代理
基于DQN的分配
服务用户的数量和缓存的参考视频的数量首先被馈送到两个独立的神经网络(即UserNet和VideoNet)中，以嵌入用户特征和视频特征。
然后将这两个特性连接并送到ValueNet中，以生成每个缓存的Q值。
每次用户的请求到来时，服务器都会为该用户选择一个代理。

5 实验结果

5.1 边缘缓存数量的影响

当合成时间远远小于下载时间时,处理时间曲线在任意数量的边缘缓存处都会有一个局部最小值。
当下载时间远小于合成时间时处理时间近似于反比曲线，增加更多边缘缓存的效果随着服务器数量的增加而减小。
在这里插入图片描述

5.2 Comparison of Multi-armed Bandit Algorithms

比较方法：1让用户随机选择代理；2让他们连接到固定边缘缓存

在这里插入图片描述
在这里插入图片描述

5.3 DQN的评估

比较方法：1将用户分配到用户最少的边缘缓存的算法；2随机选择缓存中有所需参考视频的边缘缓存的算法；3在所有缓存中有所需视频的边缘缓存中选择用户最少的边缘缓存的算法
与比较的所有算法中性能最好的相比，DQN减少了4.6-6.8%的总处理时间。
在这里插入图片描述

6 评价

优点
方案较简单

缺点与改进
a.评估指标单一
b.合成的新视点视频复用
c.缺乏缓存之间的协同
d.缺乏对用户观看视点的预测机制
e.组播
f.不同质量级别的FVV参考视频

这篇关于论文阅读[2023ICME]Edge-FVV: Free Viewpoint Video Streaming by Learning at the Edge的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/464218。

相关文章

JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
软件架构模式：5 分钟阅读

软件架构模式：5 分钟阅读

原文： https://orkhanscience.medium.com/software-architecture-patterns-5-mins-read-e9e3c8eb47d2 软件架构模式：5 分钟阅读 当有人潜入软件工程世界时，有一天他需要学习软件架构模式的基础知识。当我刚接触编码时，我不知道从哪里获得简要介绍现有架构模式的资源，这样它就不会太详细和混乱，而是非常抽象和易
阅读更多...
Apple quietly slips WebRTC audio, video into Safari's WebKit spec

Apple quietly slips WebRTC audio, video into Safari's WebKit spec

转自：http://www.zdnet.com/article/apple-quietly-slips-webrtc-audio-video-into-safaris-webkit-spec/?from=timeline&isappinstalled=0 http://www.zdnet.com/article/apple-quietly-slips-webrtc-audio-video-
阅读更多...
BERT 论文逐段精读【论文精读】

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？ 1标题 + 作者 BERT: Pre-trainin
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2