Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读

2024-01-16 20:28
文章标签 论文 system file load metadata 泛读 ceph balancer programmable mantle

本文主要是介绍Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

SC 2015 Paper 元数据论文阅读汇总

问题

优化Ceph的元数据局部性和负载平衡。

现有方法

提高元数据服务性能的最常见技术是在专用的元数据服务器（MDS）节点之间平衡负载 [16, 25, 26, 21, 28]。常见的方法是鼓励独立增长并减少通信，使用诸如懒惰客户端和MDS同步 [16, 18, 29, 9, 30]、inode路径/权限缓存 [4, 11, 28]、具有局部感知的/对象间事务 [21, 30, 17, 18] 和高效的查找表 [4, 30] 等技术。

尽管具有迁移元数据的机制，如锁 [21, 20]、零拷贝和两阶段提交 [21] 以及目录分区 [28, 16, 18, 25]，但这些系统未能充分利用局部性。

本文方法

为了达到平衡，我们需要了解资源迁移和MDS节点处理能力的权衡。我们介绍了Mantle，这是一个基于CephFS的系统，它通过将迁移策略与机制分离来暴露这些因素，判断应该进行负载均衡还是并行（负载均衡会导致额外的性能开销）。

我们通过复制一种最先进的元数据平衡器的策略来展示这种方法的灵活性和透明性，并最后通过将该策略与同一系统上的其他自定义平衡器进行比较来总结。

总结

针对元数据的局部性和负载均衡问题，作者提出进行负载均衡时会导致性能下降，在调度前需要先考虑调度带来的影响。作者提出Mantle，将迁移策略和文件系统解耦。

这篇关于Mantle: A Programmable Metadata Load Balancer for the Ceph File System——论文泛读的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/613796。

相关文章

AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
Partical System

Partical System

创建"粒子系统物体"（点击菜单GameObject -> Create Other -> Particle System） 添加"粒子系统组件"（点击Component -> Effects  ->Particle System） 粒子系统检视面板  点击粒子系统检视面板的右上角的"+"来增加新的模块。（Show All Modules:显示全部） 初始化模块： •
阅读更多...
BERT 论文逐段精读【论文精读】

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？ 1标题 + 作者 BERT: Pre-trainin
阅读更多...
小技巧绕过Sina Visitor System(新浪访客系统)

小技巧绕过Sina Visitor System(新浪访客系统)

0x00 前言 一直以来，爬虫与反爬虫技术都时刻进行着博弈，而新浪微博作为一个数据大户更是在反爬虫上不遗余力。常规手段如验证码、封IP等等相信很多人都见识过…… 当然确实有需要的话可以通过新浪开放平台提供的API进行数据采集，但是普通开发者的权限比较低，限制也比较多。所以如果只是做一些简单的功能还是爬虫比较方便~ 应该是今年的早些时候，新浪引入了一个Sina Visitor Syst
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...
类的load方法和initialize方法对比

类的load方法和initialize方法对比

1. load方法在main()之前被调用，而initialize方法在main()之后调用 load方法实际是在load_images过程中被调用的。load_images会将当前应用依赖的所有镜像（动态库）加载到内存，在在加载中首先是对镜像进行扫描，将所有包含 load 方法的类加入列表 loadable_classes ，然后从这个列表中逐一调用其所包含的 load 方法。 +[XXCl
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2