架构实战--以海量存储系统讲解热门话题:分布式概念

本文主要是介绍架构实战--以海量存储系统讲解热门话题:分布式概念,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

关注我,持续分享逻辑思维&管理思维; 可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导;
有意找工作的同学,请参考博主的原创:《面试官心得--面试前应该如何准备》,《面试官心得--面试时如何进行自我介绍》《做好面试准备,迎接2024金三银四》。

-------------------------------------正文----------------------------------------

分布式概念是指在分布式计算环境中,一个软件系统或应用程序的功能和数据可以在多个服务器之间分散,以实现更高的可用性、灵活性和 scalability。这种方式可以使得系统的整体性能和可用性提高,同时也可以减少单个服务器的负担。

分布式概念通常包括以下几个方面:

1. 分布式存储:将数据存储在多个服务器之间,以提高数据的可用性和访问速度。
2. 分布式处理:将计算任务分散到多个服务器上,以减少单个服务器的负担和提高系统的总性能。
3. 分布式应用程序:将应用程序分散到多个服务器上,以实现更高的可用性和灵活性。
4. 分布式网络:将网络结构分散到多个服务器和网络设备之间,以提高系统的可用性和灵活性。
5. 分布式数据库:将数据库分散到多个服务器上,以提高数据的可用性和访问速度。
6. 分布式计算:将计算任务分散到多个服务器上,以减少单个服务器的负担和提高系统的总性能。
7. 分布式文件系统:将文件分散到多个服务器上,以提高文件的可用性和访问速度。

以上图为例,是比较简单的一个存储分布式引擎。

Proxy介绍

  • Proxy可以分配域名,这样用户的请求可以均匀分配到任何一台Proxy上。Proxy无状态,可以无差别承担任何一个请求。
  • Proxy在承担服务前,先从Master获取所有数据路由(路由的概念:存储系统由Key+Value组成,一个Key对应一个Value。Key可以认为是文件名+路径,也可以是自定义的唯一Key。Value对应的是内容。路由是指每个Key在哪个Data节点的位置信息。显然,每个Key保存对应的Data IP不大可能。一般把Key直行Hash,Hash后得到一个int,然后进行数学取模。模的大小大家可以自己取。比如模100000,意味着每个Key可以散列成一个10万以内的数字。我们保存这个数字和Data IP的对应关系即可。比如数字1-10000在Data节点1, 10000-20000在节点2……)。对于写请求,Proxy收到Key+Value,以Key散列后看数字为多少,如果数字为30005,则把这个Key+Value写发到Data节点3去服务。读请求类似,Key散列后,转发到对应Data节点去获取数据。
  • Proxy同时和Master保持心跳。当路由信息有变化时,Master会通知Proxy。比如我们发现Data3节点快被写满了,决定扩容,申请了Data3.1,Data3.2两组节点,Data3.1承担30001-35000的路由数据,Data3.1承担35001-40000的路由数据。这样,Data节点可以一直扩容到10万组(如果上面的模改为1000万,则可以扩容到1000万组)。
  • 对于写请求,Proxy将数据写到Data节点组的主备机,都写成功了才返回成功。而读请求,可以到任何一台机器上进行。
  • 任何一个Proxy节点挂了,可以在DNS中将其剔除。用户请求将会转发到其他Proxy节点上,所以Proxy节点机器死机,对用户无影响。

Data介绍

  • Data有2台,互为主备。可以互相不知道对方。每个Data节点只负责读写自己的数据。
  • 当一个Key+Value写过来,Data节点按自己的组织方式写到磁盘里。下次读的时候,再从对应的磁盘里读出来。因为涉及数据案例,所以一逻辑上经比较简单,二有主备机器。任何一个Key,在主或备上都可以读出相同的数据来。
  • Data要定期向Master上报心跳。让Master知道这组Data是正常的。如果哪台有异常,才好让其下线,以另一台向用户服务。所以,任意死机一台Data都不影响服务。
  • Data节点有状态,但也可以任意扩容、缩容。当需要扩容时,告诉Master有新的Data节点。然后控制Master分裂路由。

Master介绍

  • Master逻辑简单,只保存全量路由。这个路由数据可以以文件方式保存,一旦这个Master挂了,可以拿到这个文件快速启动另一台Master并服务。
  • Master也以DNS进行服务。这样,随时可以切换到另一台Master进行服务。因此,Master也是可以死机的。

以上,就是简单的一个分布式存储系统。

亮点

  • 高性能:Proxy缓存全量路由,查找路由快速、精准。能一步定位到数据在哪台Data节点;
  • 扩展性:路由可以任意扩容,Data节点可以无限扩容;
  • 可用性:Data有主备两台机器,任何一台挂了,也不影响继续读取和写入。同时Proxy和Master死机也不会影响系统可用性。

这里只是拿这个架构来分析、讲解分布式概念。真正的存储系统还是比较复杂。
比如写2份数据,一份成功一分失败怎么办。
比如下线一台Data节点,只有另一台节点服务,此时数据只有一份,就比较危险。
比如下线节点后,这个节点再次起来,数据与互备的可能就不一样了怎么办?

分布式概念的主要优势包括:

1. 提高系统可用性:通过将数据和应用程序分散到多个服务器上,可以在多个服务器之间进行数据和应用程序的存储和处理,从而提高系统的可用性。
2. 提高系统性能:通过将计算任务分散到多个服务器上,可以在多个服务器之间进行数据并发、加速和优化,从而提高系统的性能。
3. 减少服务器负担:通过将应用程序和数据分散到多个服务器上,可以在每个服务器上只需要一定量的计算 ressources,从而减少单个服务器的负担。
4. 提高系统灵活性:通过将应用程序和数据分散到多个服务器上,可以在多个服务器之间进行数据和应用程序的更新、升级和扩展,从而提高系统的灵活性。
5. 降低系统沟通成本:通过将数据和应用程序分散到多个服务器上,可以减少在多个服务器之间进行数据和应用程序的传输和沟通,从而降低系统的沟通成本。

然而,分布式概念也存在一些挑战,包括:

1. 复杂性增加:由于多个服务器之间进行数据和应用程序的交互,因此会增加系统的复杂性。
2. 可用性和灵活性难以确保:由于分布式系统存在多个服务器和网络设备之间的交互,因此可能会出现系统不可用或灵活性异常的情况。
3. 安全性难以保证:由于分布式系统存在多个服务器和网络设备之间的交互,因此可能会出现安全性问题或攻击。
4. 数据重复和随机访问异常:由于分布式系统存在多个服务器之间进行数据的存储和访问,因此可能会出现数据重复或随机访问异常的情况。
5. 扩展性困难:由于分布式系统存在多个服务器和网络设备之间的交互,因此可能会出现扩展性问题或兼容性问题。

对架构、技术、管理、逻辑思维有兴趣的同学,欢迎点赞&关注和博主沟通交流。持续分享逻辑、算法、管理、技术、人工智能相关的文章。

博主其它经典原创:《管理心得--工作目标应该是解决业务问题,而非感动自己》,《管理心得--如何高效进行跨部门合作》,《管理心得--员工最容易犯的错误:以错误去掩盖错误》,《技术心得--如何成为优秀的架构师》、《管理心得--如何成为优秀的架构师》、《管理心理--程序员如何选择职业赛道》。欢迎大家阅读。

这篇关于架构实战--以海量存储系统讲解热门话题:分布式概念的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/810787

相关文章

C语言小项目实战之通讯录功能

《C语言小项目实战之通讯录功能》:本文主要介绍如何设计和实现一个简单的通讯录管理系统,包括联系人信息的存储、增加、删除、查找、修改和排序等功能,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录功能介绍:添加联系人模块显示联系人模块删除联系人模块查找联系人模块修改联系人模块排序联系人模块源代码如下

Redis的Zset类型及相关命令详细讲解

《Redis的Zset类型及相关命令详细讲解》:本文主要介绍Redis的Zset类型及相关命令的相关资料,有序集合Zset是一种Redis数据结构,它类似于集合Set,但每个元素都有一个关联的分数... 目录Zset简介ZADDZCARDZCOUNTZRANGEZREVRANGEZRANGEBYSCOREZ

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

Golang操作DuckDB实战案例分享

《Golang操作DuckDB实战案例分享》DuckDB是一个嵌入式SQL数据库引擎,它与众所周知的SQLite非常相似,但它是为olap风格的工作负载设计的,DuckDB支持各种数据类型和SQL特性... 目录DuckDB的主要优点环境准备初始化表和数据查询单行或多行错误处理和事务完整代码最后总结Duck

Python中的随机森林算法与实战

《Python中的随机森林算法与实战》本文详细介绍了随机森林算法,包括其原理、实现步骤、分类和回归案例,并讨论了其优点和缺点,通过面向对象编程实现了一个简单的随机森林模型,并应用于鸢尾花分类和波士顿房... 目录1、随机森林算法概述2、随机森林的原理3、实现步骤4、分类案例:使用随机森林预测鸢尾花品种4.1

java如何分布式锁实现和选型

《java如何分布式锁实现和选型》文章介绍了分布式锁的重要性以及在分布式系统中常见的问题和需求,它详细阐述了如何使用分布式锁来确保数据的一致性和系统的高可用性,文章还提供了基于数据库、Redis和Zo... 目录引言:分布式锁的重要性与分布式系统中的常见问题和需求分布式锁的重要性分布式系统中常见的问题和需求

Golang使用minio替代文件系统的实战教程

《Golang使用minio替代文件系统的实战教程》本文讨论项目开发中直接文件系统的限制或不足,接着介绍Minio对象存储的优势,同时给出Golang的实际示例代码,包括初始化客户端、读取minio对... 目录文件系统 vs Minio文件系统不足:对象存储:miniogolang连接Minio配置Min

Golang使用etcd构建分布式锁的示例分享

《Golang使用etcd构建分布式锁的示例分享》在本教程中,我们将学习如何使用Go和etcd构建分布式锁系统,分布式锁系统对于管理对分布式系统中共享资源的并发访问至关重要,它有助于维护一致性,防止竞... 目录引言环境准备新建Go项目实现加锁和解锁功能测试分布式锁重构实现失败重试总结引言我们将使用Go作

Node.js 中 http 模块的深度剖析与实战应用小结

《Node.js中http模块的深度剖析与实战应用小结》本文详细介绍了Node.js中的http模块,从创建HTTP服务器、处理请求与响应,到获取请求参数,每个环节都通过代码示例进行解析,旨在帮... 目录Node.js 中 http 模块的深度剖析与实战应用一、引言二、创建 HTTP 服务器:基石搭建(一

Redis分布式锁使用及说明

《Redis分布式锁使用及说明》本文总结了Redis和Zookeeper在高可用性和高一致性场景下的应用,并详细介绍了Redis的分布式锁实现方式,包括使用Lua脚本和续期机制,最后,提到了RedLo... 目录Redis分布式锁加锁方式怎么会解错锁?举个小案例吧解锁方式续期总结Redis分布式锁如果追求