分布式系统原理(2)--数据分布方式

2024-02-13 02:38

本文主要是介绍分布式系统原理(2)--数据分布方式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

二、分布式系统原理

1、数据分布方式

如何将分布式系统的输入数据拆解为可疑使用多机分布式处理的过程,成为数据分布方式。

(1)哈希方式(最常见)

按照数据的某一特征计算哈希值,并将哈希值与机器建立映射关系,从而将不同的数据分布到不同的机器上。如按数据属于的用户id计算哈希值,集群中的服务器按0-机器数减一编号,哈希值除以服务器的个数,余数为处理该数据的服务器编号。

l  优点:只要哈希函数的散列特性好,哈希方式可以较为均匀的将数据分布到集群中去,要记录的元信息也很简单,任何时候,任何节点只要知道哈希函数的计算方式及模的服务器总数就可以计算出处理具体数据的机器是哪台。

l  缺点:

l  可扩展性不高,一旦集群规模需要扩展,则几乎所有的数据需要被迁移并重新分布。工程上会成倍扩展,这样原本一台机器上的数据只需迁移一半到另一机器上。

改进:使用专门的元数据服务器管理对应关系,让哈希值取模个数大于机器个数,同一机器需负责多个哈希取模的余数,使得扩容不依赖于机器数的成倍增长。问题:需较复杂的机制维护大量的元数据

l  一旦数据特征值严重不均,容易出现“数据倾斜”(data skew)问题。

 

(2)按数据范围分布

将数据按特征值的值域范围划分不同的区间,使得集群中每台(组)服务器处理不同区间的数据。为数据迁移等负载均衡操作的方便,往往利用动态划分区间的方式,使得每个区间中服务的数据量尽量的一样多。若某区间数据量较大,则可将区间“分裂”拆成两个区间。

l  优点:可以

这篇关于分布式系统原理(2)--数据分布方式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/704255

相关文章

Go 语言中的select语句详解及工作原理

《Go语言中的select语句详解及工作原理》在Go语言中,select语句是用于处理多个通道(channel)操作的一种控制结构,它类似于switch语句,本文给大家介绍Go语言中的select语... 目录Go 语言中的 select 是做什么的基本功能语法工作原理示例示例 1:监听多个通道示例 2:带

鸿蒙中@State的原理使用详解(HarmonyOS 5)

《鸿蒙中@State的原理使用详解(HarmonyOS5)》@State是HarmonyOSArkTS框架中用于管理组件状态的核心装饰器,其核心作用是实现数据驱动UI的响应式编程模式,本文给大家介绍... 目录一、@State在鸿蒙中是做什么的?二、@Spythontate的基本原理1. 依赖关系的收集2.

Spring中配置ContextLoaderListener方式

《Spring中配置ContextLoaderListener方式》:本文主要介绍Spring中配置ContextLoaderListener方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录Spring中配置ContextLoaderLishttp://www.chinasem.cntene

AJAX请求上传下载进度监控实现方式

《AJAX请求上传下载进度监控实现方式》在日常Web开发中,AJAX(AsynchronousJavaScriptandXML)被广泛用于异步请求数据,而无需刷新整个页面,:本文主要介绍AJAX请... 目录1. 前言2. 基于XMLHttpRequest的进度监控2.1 基础版文件上传监控2.2 增强版多

Docker镜像修改hosts及dockerfile修改hosts文件的实现方式

《Docker镜像修改hosts及dockerfile修改hosts文件的实现方式》:本文主要介绍Docker镜像修改hosts及dockerfile修改hosts文件的实现方式,具有很好的参考价... 目录docker镜像修改hosts及dockerfile修改hosts文件准备 dockerfile 文

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》:本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务(crontab)二、crontab基础1、cro

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定