分布式系统原理(2)--数据分布方式

2024-02-13 02:38

本文主要是介绍分布式系统原理(2)--数据分布方式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

二、分布式系统原理

1、数据分布方式

如何将分布式系统的输入数据拆解为可疑使用多机分布式处理的过程,成为数据分布方式。

(1)哈希方式(最常见)

按照数据的某一特征计算哈希值,并将哈希值与机器建立映射关系,从而将不同的数据分布到不同的机器上。如按数据属于的用户id计算哈希值,集群中的服务器按0-机器数减一编号,哈希值除以服务器的个数,余数为处理该数据的服务器编号。

l  优点:只要哈希函数的散列特性好,哈希方式可以较为均匀的将数据分布到集群中去,要记录的元信息也很简单,任何时候,任何节点只要知道哈希函数的计算方式及模的服务器总数就可以计算出处理具体数据的机器是哪台。

l  缺点:

l  可扩展性不高,一旦集群规模需要扩展,则几乎所有的数据需要被迁移并重新分布。工程上会成倍扩展,这样原本一台机器上的数据只需迁移一半到另一机器上。

改进:使用专门的元数据服务器管理对应关系,让哈希值取模个数大于机器个数,同一机器需负责多个哈希取模的余数,使得扩容不依赖于机器数的成倍增长。问题:需较复杂的机制维护大量的元数据

l  一旦数据特征值严重不均,容易出现“数据倾斜”(data skew)问题。

 

(2)按数据范围分布

将数据按特征值的值域范围划分不同的区间,使得集群中每台(组)服务器处理不同区间的数据。为数据迁移等负载均衡操作的方便,往往利用动态划分区间的方式,使得每个区间中服务的数据量尽量的一样多。若某区间数据量较大,则可将区间“分裂”拆成两个区间。

l  优点:可以

这篇关于分布式系统原理(2)--数据分布方式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/704255

相关文章

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

java实现docker镜像上传到harbor仓库的方式

《java实现docker镜像上传到harbor仓库的方式》:本文主要介绍java实现docker镜像上传到harbor仓库的方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 前 言2. 编写工具类2.1 引入依赖包2.2 使用当前服务器的docker环境推送镜像2.2

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景

springboot项目打jar制作成镜像并指定配置文件位置方式

《springboot项目打jar制作成镜像并指定配置文件位置方式》:本文主要介绍springboot项目打jar制作成镜像并指定配置文件位置方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录一、上传jar到服务器二、编写dockerfile三、新建对应配置文件所存放的数据卷目录四、将配置文

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

Java Stream的distinct去重原理分析

《JavaStream的distinct去重原理分析》Javastream中的distinct方法用于去除流中的重复元素,它返回一个包含过滤后唯一元素的新流,该方法会根据元素的hashcode和eq... 目录一、distinct 的基础用法与核心特性二、distinct 的底层实现原理1. 顺序流中的去重

Spring @Scheduled注解及工作原理

《Spring@Scheduled注解及工作原理》Spring的@Scheduled注解用于标记定时任务,无需额外库,需配置@EnableScheduling,设置fixedRate、fixedDe... 目录1.@Scheduled注解定义2.配置 @Scheduled2.1 开启定时任务支持2.2 创建

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri