杉岩数据:MOS对象存储为IPFS打造坚实底座

2023-10-29 14:32

本文主要是介绍杉岩数据:MOS对象存储为IPFS打造坚实底座,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

IPFS是InterPlanetary File System(星际文件系统)的简称,是一个旨在创建持久且分布式存储和共享文件的网络传输协议。IPFS网络中的节点构成了一个分布式文件系统,它为用户提供了一个支持部署和写入的平台,同时能够支持大文件的分发和版本管理。

IPFS试图解决什么问题?

IPFS是对中心化存储的一种补充,具有去中心化、数据不可篡改、全程留痕、可以追溯、集体维护、公开透明的特点。其目标是通过建立对等的分布式文件系统,为数据存储服务的需求者提供一个高吞吐量、按内容寻址的块存储模型,及与内容相关的超链接。分布式内容传递可以节约带宽,和防止HTTP可能遇到的DDoS攻击。

相较于中心化存储(基于HTTP构建的云存储),IPFS解决了下载速度慢、存储成本高、修复能力不足以及数据隐私安全等问题,且不存在单点故障,网络节点之间不需要相互信任,安全性和可靠性更高。

IPFS如何保证用户数据被安全地存储?

从数据存取的角度来看,IPFS的做法是:文件被用户上传时,会切割成N个加密碎片,分散存储在供应方(矿工)提供的存储空间中,在下载时再合成为完整的源文件;通过一种共识机制(复制证明PoRep和时空证明PoSt)来确保正确的数据在正确的时间被有效存储且未被篡改,以保障安全、公开、透明;据此,系统也会得出矿工的实际贡献值,提供对等的报酬。

图1.IPFS通过共识机制确保数据安全

整体流程大致如下:当用户上传原始数据后,矿工向主链提交交易证明并获取出块权,之后按照规则将数据装入扇区继而封装成标准大小(32GB)的数据块;在封装过程中会进行复制证明并提交给主链,以证明矿工确实保存了用户要求存储的数据;数据封装后,系统会按照数据的存储期限,每隔一段时间(一般是半小时一次)运行时空证明,以证明矿工确实在规定时间内存储了准确的数据。

IPFS需要高度匹配的存储能力

在运行证明的过程中,需要强大的算力支撑,这既包括对原始数据的封装处理、对证明数据的高效运算,还包括对封装数据的及时写入、对证明数据的检索抽取。这对存储也提出了严苛的要求,主要特点如下。

图2.证明过程中计算与存储高频交互

超大容量

IPFS要求数据持续可读,历史数据永久保存。一般周数据增量为PB级,年增量可达百PB级甚至EB级。

高吞吐

IPFS写入模型是大文件并发写入,存储集群至少要提供100Gbps以上的吞吐量,以保证封装数据的写入效率。

随机读

在时空证明阶段,每天完成一次全量证明(分48次进行,每半小时就要完成一个SHARD的证明),均是小数据块随机读,要求存储提供极高的随机读取效率。

高效运维

数百PB甚至EB级的海量空间,必然由大规模集群来支撑,高效运维、降低人力成本同样是刚需。

兼顾安全与低成本

除了IPFS原有的哈希去重和加密算法,存储集群也需要提供低成本的安全保护策略。业内厂商多采用高性价比的纠删码方案,在保证数据高可用的同时,尽可能降低总体成本。

MOS对象存储为IPFS打造坚实底座

从前文的描述中不难看出,选择合适的存储底座无疑能给IPFS带来强有力支撑。杉岩MOS对象存储凭借海量、高性能、智能化、低成本等优势,为IPFS场景提供了极佳的存储底座。

图3.基于MOS打造强大的存储底座

EB级弹性扩展,300 Gbps吞吐能力

MOS可提供单一命名空间的EB级资源池,以及超过300 Gbps的吞吐能力;由于计算与存储分离,存储集群可独立扩展,灵活响应业务变化。

空间利用率超90%,成本节约超过50%

为了满足数据高可用和低成本的要求,MOS采用22+2的纠删码技术,将空间利用率提升到了90%以上,相较于3副本策略,硬件成本缩减超过50%。

15秒读完一个Partition

针对IPFS高频随机读的特点,MOS也进行了性能优化,可将数百次随机读请求合并为一个请求,将读取效率提升了数倍,每15秒即可读完一个Partition。

管理超大规模集群仅需1-2人

MOS提供可视化管理和智能化运维,故障自动监测和即时申报;通过多故障域隔离和智能DNS分配技术,帮助运维人员轻松管控超大规模集群,在提升数据可靠性的同时降低运维复杂度,节省人力成本。

“工欲善其事,必先利其器。”IPFS需要强大的云算力,除了部署强大的算力集群,选好存储同样重要。杉岩已顺利交付IPFS项目,实践证明,MOS对象存储值得这份信赖。

这篇关于杉岩数据:MOS对象存储为IPFS打造坚实底座的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/301287

相关文章

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Spring常见错误之Web嵌套对象校验失效解决办法

《Spring常见错误之Web嵌套对象校验失效解决办法》:本文主要介绍Spring常见错误之Web嵌套对象校验失效解决的相关资料,通过在Phone对象上添加@Valid注解,问题得以解决,需要的朋... 目录问题复现案例解析问题修正总结  问题复现当开发一个学籍管理系统时,我们会提供了一个 API 接口去

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Java如何通过反射机制获取数据类对象的属性及方法

《Java如何通过反射机制获取数据类对象的属性及方法》文章介绍了如何使用Java反射机制获取类对象的所有属性及其对应的get、set方法,以及如何通过反射机制实现类对象的实例化,感兴趣的朋友跟随小编一... 目录一、通过反射机制获取类对象的所有属性以及相应的get、set方法1.遍历类对象的所有属性2.获取

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

用Java打造简易计算器的实现步骤

《用Java打造简易计算器的实现步骤》:本文主要介绍如何设计和实现一个简单的Java命令行计算器程序,该程序能够执行基本的数学运算(加、减、乘、除),文中通过代码介绍的非常详细,需要的朋友可以参考... 目录目标:一、项目概述与功能规划二、代码实现步骤三、测试与优化四、总结与收获总结目标:简单计算器,设计