A Novel Distributed File System Using Blockchain Metadata——论文泛读

本文主要是介绍A Novel Distributed File System Using Blockchain Metadata——论文泛读,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Wireless Personal Communications 2023 Paper 分布式元数据论文阅读笔记整理

问题

随着来自不同来源(如在线社交媒体、物联网、移动数据、传感器数据、黑匣子数据等)的大量数据以指数级的速度增长,集群计算已成为数据处理中不可避免的一部分。分布式文件系统定义了不同的方法来在不同的集群计算节点之间分发、读取和删除文件。但流行的分布式文件系统(如Google file System和Hadoop distributed file System)集中存储元数据,可能产生单点故障,从而需要备份和替代解决方案在故障时恢复元数据。此外,名称节点服务器是使用昂贵且可靠的硬件构建的,对于中小型集群,维护昂贵的名称节点服务器是不划算的,而使用廉价的商品硬件作为替代又很容易出现硬件故障。

本文方法

本文提出了一种新的无中心名称节点的分布式文件系统 DFS-DM,在对等网络连接的集群上分发文件。该文件系统使用分布式共识和哈希来分发元数据。尽管分布式元数据对公众可见,但方法确保了它是不可变的和无可辩驳的。

几个特性:

  • 通过将单个辅助副本作为副本和奇偶校验文件来维护,从而提供高可用性。如果单个节点出现故障,则会自动提取辅助副本。如果辅助副本也出现故障,则使用与数据文件一起存储的奇偶校验文件来重建相应的块。

  • 添加CRC校验和文件来提供错误检测过程。

  • 遵循P2P网络配置,对网络上的所有节点具有同等优先级,使用廉价的商品硬件实现。

  • 使用区块链将元数据分发给P2P网络上的所有对等体。

所提出的文件系统已在谷歌云平台上成功测试,并与Hadoop分布式文件系统进行了比较,实现了更好的效果。

实验

实验对比:读写时间、执行时间

实验参数:数据大小

总结

使用区块链的思想构建分布式文件系统元数据。避免使用昂贵的单个名称节点,使用多个廉价硬件,通过分布式共识确保元数据不被修改,通过单个辅助副本和奇偶校验进行故障恢复。

这篇关于A Novel Distributed File System Using Blockchain Metadata——论文泛读的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/883076

相关文章

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

Java实现将byte[]转换为File对象

《Java实现将byte[]转换为File对象》这篇文章将通过一个简单的例子为大家演示Java如何实现byte[]转换为File对象,并将其上传到外部服务器,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言1. 问题背景2. 环境准备3. 实现步骤3.1 从 URL 获取图片字节数据3.2 将字节数组

解决JavaWeb-file.isDirectory()遇到的坑问题

《解决JavaWeb-file.isDirectory()遇到的坑问题》JavaWeb开发中,使用`file.isDirectory()`判断路径是否为文件夹时,需要特别注意:该方法只能判断已存在的文... 目录Jahttp://www.chinasem.cnvaWeb-file.isDirectory()遇

Oracle数据库如何切换登录用户(system和sys)

《Oracle数据库如何切换登录用户(system和sys)》文章介绍了如何使用SQL*Plus工具登录Oracle数据库的system用户,包括打开登录入口、输入用户名和口令、以及切换到sys用户的... 目录打开登录入口登录system用户总结打开登录入口win+R打开运行对话框,输php入:sqlp

VMWare报错“指定的文件不是虚拟磁盘“或“The file specified is not a virtual disk”问题

《VMWare报错“指定的文件不是虚拟磁盘“或“Thefilespecifiedisnotavirtualdisk”问题》文章描述了如何修复VMware虚拟机中出现的“指定的文件不是虚拟... 目录VMWare报错“指定的文件不是虚拟磁盘“或“The file specified is not a virt

提示:Decompiled.class file,bytecode version如何解决

《提示:Decompiled.classfile,bytecodeversion如何解决》在处理Decompiled.classfile和bytecodeversion问题时,通过修改Maven配... 目录问题原因总结问题1、提示:Decompiled .class file,China编程 bytecode

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已