A Novel Distributed File System Using Blockchain Metadata——论文泛读

2024-04-07 16:20
文章标签 论文 system file using distributed metadata 泛读 novel blockchain

本文主要是介绍A Novel Distributed File System Using Blockchain Metadata——论文泛读，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Wireless Personal Communications 2023 Paper 分布式元数据论文阅读笔记整理

问题

随着来自不同来源（如在线社交媒体、物联网、移动数据、传感器数据、黑匣子数据等）的大量数据以指数级的速度增长，集群计算已成为数据处理中不可避免的一部分。分布式文件系统定义了不同的方法来在不同的集群计算节点之间分发、读取和删除文件。但流行的分布式文件系统（如Google file System和Hadoop distributed file System）集中存储元数据，可能产生单点故障，从而需要备份和替代解决方案在故障时恢复元数据。此外，名称节点服务器是使用昂贵且可靠的硬件构建的，对于中小型集群，维护昂贵的名称节点服务器是不划算的，而使用廉价的商品硬件作为替代又很容易出现硬件故障。

本文方法

本文提出了一种新的无中心名称节点的分布式文件系统 DFS-DM，在对等网络连接的集群上分发文件。该文件系统使用分布式共识和哈希来分发元数据。尽管分布式元数据对公众可见，但方法确保了它是不可变的和无可辩驳的。

几个特性：

  • 通过将单个辅助副本作为副本和奇偶校验文件来维护，从而提供高可用性。如果单个节点出现故障，则会自动提取辅助副本。如果辅助副本也出现故障，则使用与数据文件一起存储的奇偶校验文件来重建相应的块。

  • 添加CRC校验和文件来提供错误检测过程。

  • 遵循P2P网络配置，对网络上的所有节点具有同等优先级，使用廉价的商品硬件实现。

  • 使用区块链将元数据分发给P2P网络上的所有对等体。

所提出的文件系统已在谷歌云平台上成功测试，并与Hadoop分布式文件系统进行了比较，实现了更好的效果。

实验

实验对比：读写时间、执行时间

实验参数：数据大小

总结

使用区块链的思想构建分布式文件系统元数据。避免使用昂贵的单个名称节点，使用多个廉价硬件，通过分布式共识确保元数据不被修改，通过单个辅助副本和奇偶校验进行故障恢复。

这篇关于A Novel Distributed File System Using Blockchain Metadata——论文泛读的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/883076。

相关文章

AI hospital 论文Idea

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境，人类医生（即医学学习者）可以在其中与患者代理进行医学
阅读更多...
论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

论文翻译：arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染：一项综述 文章目录 大规模语言模型的基准数据污染：一项综述摘要1 引言 摘要 大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快
阅读更多...
论文阅读笔记: Segment Anything

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear
阅读更多...
论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

论文翻译：ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的，这引发了人们的担忧和猜测，即它们可能已
阅读更多...
OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配）

OmniGlue论文详解（特征匹配） 摘要1. 引言2. 相关工作2.1. 广义局部特征匹配2.2. 稀疏可学习匹配2.3. 半稠密可学习匹配2.4. 与其他图像表示匹配 3. OmniGlue3.1. 模型概述3.2. OmniGlue 细节3.2.1. 特征提取3.2.2. 利用DINOv2构建图形。3.2.3. 信息传播与新的指导3.2.4. 匹配层和损失函数3.2.5. 与Super
阅读更多...
Partical System

Partical System

创建"粒子系统物体"（点击菜单GameObject -> Create Other -> Particle System） 添加"粒子系统组件"（点击Component -> Effects  ->Particle System） 粒子系统检视面板  点击粒子系统检视面板的右上角的"+"来增加新的模块。（Show All Modules:显示全部） 初始化模块： •
阅读更多...
BERT 论文逐段精读【论文精读】

BERT 论文逐段精读【论文精读】

BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？ 1标题 + 作者 BERT: Pre-trainin
阅读更多...
小技巧绕过Sina Visitor System(新浪访客系统)

小技巧绕过Sina Visitor System(新浪访客系统)

0x00 前言 一直以来，爬虫与反爬虫技术都时刻进行着博弈，而新浪微博作为一个数据大户更是在反爬虫上不遗余力。常规手段如验证码、封IP等等相信很多人都见识过…… 当然确实有需要的话可以通过新浪开放平台提供的API进行数据采集，但是普通开发者的权限比较低，限制也比较多。所以如果只是做一些简单的功能还是爬虫比较方便~ 应该是今年的早些时候，新浪引入了一个Sina Visitor Syst
阅读更多...
[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

[论文笔记]LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale

引言 今天带来第一篇量化论文LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale笔记。 为了简单，下文中以翻译的口吻记录，比如替换"作者"为"我们"。 大语言模型已被广泛采用，但推理时需要大量的GPU内存。我们开发了一种Int8矩阵乘法的过程，用于Transformer中的前馈和注意力投影层，这可以将推理所需
阅读更多...
Open a folder or workspace... (File -＞ Open Folder)

Open a folder or workspace... (File -＞ Open Folder)

问题：vscode Open with Live Server 时 显示Open a folder or workspace... (File -> Open Folder)报错 解决：不可以单独打开文件1.html ; 需要在文件夹里打开 像这样
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2