微服务+分库分表的自增主键ID该如何设计?

2024-06-07 01:28

本文主要是介绍微服务+分库分表的自增主键ID该如何设计?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一. 前言

分布式ID 是分布式系统里面非常重要的一个组成部分,那么我们在设计分布式ID的时候,需要考虑什么问题呢?

  • ❓简单结构下是怎么实现 ID 的控制的?

  • 单实例系统 :通过时间戳,系统内自增,上锁等方式保证ID的唯一性

  • 单数据库实例 : 通过自增字段(不谈性能)实现ID的唯一

  • ❓微服务 + 分库分表了 ,又该如何进行控制?

  • 问题 : 单个系统没办法直接感知到其他系统的ID情况,哪怕通信也要付出极大的代价

二. 来理解分布式ID的原则

2.1 分布式 ID 的本质是什么 ?

  • 全局唯一 : 要保证的是在任何场景下,任何系统,任何库,同一业务场景中生成的ID一定是唯一的

  • 递增 : 有的文章里面会谈到单调递增和趋势递增,这讲到的是2个维度:

  • 一个要求ID是有序增长的(趋势递增 ,用于排序

  • 一个是要求ID是正向增长的(单调递增 ,下一个一定比上一个大

  • 无规则 : 无规则是指不能按照MySQL主键自增这种方式进行 + 1 自增,简单的自增方式会带来安全层面的风险

最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉,进大厂原来没那么难。这是大佬写的,7701页的BAT大佬写的刷题笔记,让我offer拿到手软

2.2 有哪些相同性质的问题?

对于分布式 ID 的实现 ,在某些思路上和很多业务是通用的 ,例如 :

  • 订单编号的生成逻辑 :有序 + 反映时间
  • 券码的生成逻辑 : 有序 + 不可推测
  • 动态码 : 付款码,会员动态码等等

这些码的生产一般都会包含上述的2项原则,一定会要求全局唯一 ,同时根据情况来进行有序或者无序的控制。

其实无序一般也是看起来无序,在底层逻辑的生成上不可能完全无序,否则总会出现冲突的场景。

2.3 分布式 ID 的根本实现方式是什么 ?

ID的生成本质上只需要关注两个核心 :

  • 区域的划分 :我们需要保证每台机器是一个固定的区域 ,一般称之为机器ID
  • 锁的控制 : 不止是不同服务之间的分布式锁,还包括同一个服务的线程锁

来简单解读下 ,服务之间的通信很消耗资源 ,所以能不通信实现分布式ID的生成效率是最高的 , 那么一般会在服务启动的时候就计算出对应的工作区间。

同时要理解的是 ,锁往往和性能是对立关系,锁越多 ,则性能会相对越差,所以如何控制锁的粒度,则是分布式ID生成的一大核心。

三. 来探讨一下实现的思路

3.1 常规的分布式ID 算法

可用但是有限制的方案

// 简易版 - 基于时间戳的ID算法 :
- 方案 : 使用时间戳作为ID的前缀,然后通过机器的IP地址或MAC地址进行哈希计算得到剩余部分
- 问题 : 过于简单 , 只能实现单机毫秒级的并发
// 低效版 - 数据库自增
- 方案 : 没有方案 ,交给数据库来
- 问题 : 性能低 , 不支持分库分表
// 升级版 - 基于UUID
- 方案 :- 基于时间的UUID:主要依赖当前的时间戳及机器mac地址,因此可以保证全球唯一性- 分布式安全的UUID:将版本1的时间戳前四位换为POSIXUIDGID- 基于随机数的UUID:基于随机数或伪随机数生成- 基于名字空间的UUIDMD5版):基于指定的名字空间/名字生成MD5散列值得到
- 问题 : 长度过长 ,无序 ,不可读

常规的方案 :

  • 基于雪花算法的ID算法

雪花算法是由Twitter开发的一种分布式ID算法,它由几部分组成:时间戳、数据中心ID和机器ID以及序列ID。该算法可以保证ID的唯一性和稳定性,但需要较为复杂的计算和管理。

  • 基于LeaseSet的ID算法

LeaseSet是一种分布式ID系统,它通过将ID划分为多个片段,然后将这些片段分配给不同的机器来生成ID。该算法可以实现高可用和可扩展性,但需要较为复杂的实现和管理。

  • 总结一下

雪花ID一般是常见的分布式ID的方案 ,很多厂商都有这种算法的变种,操作灵活性能也比较理想。我生成主键ID时就是这种方案。

而通过分段的方案性能会很高,会在分布式锁的基础上 一次拿多个ID序列 ,然后在本地消耗这些ID序列。

比如生成订单码的时候 ,会一次性取出100个码,然后本地(单机上)逐步使用这些码。

雪花ID比较通用 。分段方式性能会更好,有序性会更强,毕竟都是连着的。

最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉,进大厂原来没那么难。这是大佬写的,7701页的BAT大佬写的刷题笔记,让我offer拿到手软

四. 分布式 ID 的简化方案

不同的业务场景对于分布式ID的要求不同 ,所以这里不说业务相关的,只谈实现流程,也没有什么代码

4.1 为你的 ID 定义格式

  • 起始位 : 起始位一般都是 1 ,在日常使用中一般不会变动,除非系统发生了整体的重做又需要保留之前数据时 ,才可以考虑通过这个来进行扩展

  • 总长度 : 位数一般基于具体的业务场景 , 和关联的内容以及数据总量息息相关。

  • 案例一 : 内含时间戳 ,一般 ID 里面会包含一个毫秒精度的时间戳,具体看业务

  • 案例二 : 插入随机数 ,在并发比较高的情况下 ,则需要通过随机数减少ID冲突的概率

  • 总结 : 一般情况下都是 64 位的纯数字 ,短了信息少,并发低。 长了浪费空间,浪费性能,库不支持。

  • 机器ID : 用来描述对应的服务器 , 一般支持1024位(也就是 1024台服务器,大多数情况下够用了)

👉 来看一下最常见的雪花算法的格式 :

0                                       41     51         64
+---------------------------------------+------+-----------+
| 时间戳(以毫秒为单位)                  |机器ID|    递增数  |
+---------------------------------------+------+-----------+

最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉,进大厂原来没那么难。这是大佬写的,7701页的BAT大佬写的刷题笔记,让我offer拿到手软

👉 来解析下里面的一些具体的细节 :

问题一 : 关于时间戳从什么时候开始

一般我们看到的雪花算法都会以当前时间减去过去一个纪元时间 (参考时间点), 有的可能是 1970 年 1 月 1 日 00:00:00 , 有的可能是上线时间或者一个特殊的时间点

通过这种方式既可以减少整体的长度,让数据变得紧凑 。又可以混淆 ID 的含义,让ID 没有那么容易被解析。

比如上面那个案例 , 可以看到最开始还空了4位数 ,所以时间戳的总空间是一定够的

问题二 : 关于机器ID

机器ID 的目的主要是为了区别不同的机器,从而避免在不同机器上面生成的数据冲突,一般都是通过分布式锁的方式来启动时获取 :

  • Redis 原子获取 : 适用于服务器Pod数不高的场景,启动不频繁,流程比较规范的情况下,用 Redis 完全是足够的
  • 数据库自增 : 一般这些ID的获取都是在系统启动时完成,所以数据库里面通过自增键去做也能实现我们的需求
  • Zookeeper : Zookeeper持久顺序节点的特性也可以实现类似的功能

这3种方式也是传统的分布式锁的获取方式 ,通过自增这种实现保证机器ID每个都不一样。

但是需要避免下面几个问题 :

  • 集群过大或者不同业务使用了同一个表生成 (机器ID一般就1024 ,超过了需要从 0 开始,一般是取模的方式)
  • 避免某个节点长期不重启带来的机器ID冲突
  • 避免某个机器频繁的重启导致机器ID被击穿

问题三 : 关于 sequence 序列ID

重点一 : sequence ID 是先要比对时间戳的 ,时间戳一样这个值才会增加
重点二 : 注意并发的影响 ,要么在生成 ID 的方法上添加 synchronized 控制并发 ,要么使用原子变量

问题四 : 时钟回拨 切记切记

由于上述的分布式 ID 是基于时间来实现的,这种方案最大的问题在于时钟回拨,如果服务器的时间回滚了,而机器又没重启 ,就可能会出现ID的冲突。

也有相关的解决方案 ,最常见的就是启动时校验时钟,比较其他的机器上的时间,方案就不详述了。

再一个就是换种思路 ,时间不是依赖的系统时间 ,而是一个自增的时间位。 这个是百度那边的一种算法,下一章单独讲。

最后总结: ❗❗❗❗

位数不是绝对 ,在保持64位总长度的情况下 ,机器ID 和 最后的自增数都可以随便调节。

包括整体的 64 位也不是完全绝对的 ,业务不同比 64 小几位也完全是可以的。

4.2 简单的实现方案

// S1 : 不管用什么方案 ,Redis 原子自增什么的,拿到一个 机器ID
public long getMechineId() {// 伪代码,方案自寻return redisService.incr("MECHINE_ID:" + prefixName);
}
// S2 : 构建分布式ID
private static Long lastTimestamp;// 注意并发问题 ,加锁或者原子变量
public static synchronized long buildId(){long timestamp = System.currentTimeMillis();// 如果时间一致 ,则需要增加 sequenceIDif (lastTimestamp == timestamp) {sequence = sequence + 1L & 1023L;} else {// 瞎写的 ,目的就是拿到一个 ID ,从 0 开始也可以sequence = (long)random.nextInt(128);}// 设置时间戳为最新时间戳lastTimestamp = timestamp;// tenantCode 是初始位 ,可以是0 ,也可以是 1// 如果为 0 则可能导致 ID 长度不统一 ,所以这里要根据具体的情况去设置// - 这里偏移多少位取决于后续的 sequence 想要留多少空间 ,只要时间戳偏移不要超过总数就行// - MechineId 留了 10 位 ,也就是 1024 个机器// - sequence 留了 12位 ,也就是每毫秒 4095 个return tenantCode << 60 | timestamp - 1288834974657L << 22 | getMechineId() << 12 | sequence;
}// S3 : 入库时使用
略 ,这就不用说了吧 ,写数据库的时候设置到ID里面就行了

最近无意间获得一份阿里大佬写的刷题笔记,一下子打通了我的任督二脉,进大厂原来没那么难。这是大佬写的,7701页的BAT大佬写的刷题笔记,让我offer拿到手软

这篇关于微服务+分库分表的自增主键ID该如何设计?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1037797

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善,其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性, 将与教育相关的数据要素在区块链上进行存证确权,在确保数据可信的前提下,促进教育的公平、透明、开放,为教育教学质量提升赋能,实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护,支撑教育资源共享、教学质量评估、

怎么让1台电脑共享给7人同时流畅设计

在当今的创意设计与数字内容生产领域,图形工作站以其强大的计算能力、专业的图形处理能力和稳定的系统性能,成为了众多设计师、动画师、视频编辑师等创意工作者的必备工具。 设计团队面临资源有限,比如只有一台高性能电脑时,如何高效地让七人同时流畅地进行设计工作,便成为了一个亟待解决的问题。 一、硬件升级与配置 1.高性能处理器(CPU):选择多核、高线程的处理器,例如Intel的至强系列或AMD的Ry

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展,越来越多的企业开始将其应用于实际业务中。然而,区块链技术的专业性使得其集成开发成为一项挑战。针对此,广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术,提供一套全面的区块链开发工具和开发环境,支持开发者快速开发和部署区块链应用。此外,该平台还可以提供一套全面的区块链开发教程和文档,帮助开发者快速上手区块链开发。

基于51单片机的自动转向修复系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 单片机

SprinBoot+Vue网络商城海鲜市场的设计与实现

目录 1 项目介绍2 项目截图3 核心代码3.1 Controller3.2 Service3.3 Dao3.4 application.yml3.5 SpringbootApplication3.5 Vue 4 数据库表设计5 文档参考6 计算机毕设选题推荐7 源码获取 1 项目介绍 博主个人介绍:CSDN认证博客专家,CSDN平台Java领域优质创作者,全网30w+

单片机毕业设计基于单片机的智能门禁系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍程序代码部分参考 设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订

Spring的设计⽬标——《Spring技术内幕》

读《Spring技术内幕》第二版,计文柯著。 如果我们要简要地描述Spring的设计⽬标,可以这么说,Spring为开发者提供的是⼀个⼀站式的轻量级应⽤开发框架(平台)。 作为平台,Spring抽象了我们在 许多应⽤开发中遇到的共性问题;同时,作为⼀个轻量级的应⽤开发框架,Spring和传统的J2EE开发相⽐,有其⾃⾝的特点。 通过这些⾃⾝的特点,Spring充分体现了它的设计理念:在

基于SpringBoot的宠物服务系统+uniapp小程序+LW参考示例

系列文章目录 1.基于SSM的洗衣房管理系统+原生微信小程序+LW参考示例 2.基于SpringBoot的宠物摄影网站管理系统+LW参考示例 3.基于SpringBoot+Vue的企业人事管理系统+LW参考示例 4.基于SSM的高校实验室管理系统+LW参考示例 5.基于SpringBoot的二手数码回收系统+原生微信小程序+LW参考示例 6.基于SSM的民宿预订管理系统+LW参考示例 7.基于

开题报告中的研究方法设计:AI能帮你做什么?

AIPaperGPT,论文写作神器~ https://www.aipapergpt.com/ 大家都准备开题报告了吗?研究方法部分是不是已经让你头疼到抓狂? 别急,这可是大多数人都会遇到的难题!尤其是研究方法设计这一块,选定性还是定量,怎么搞才能符合老师的要求? 每次到这儿,头脑一片空白。 好消息是,现在AI工具火得一塌糊涂,比如ChatGPT,居然能帮你在研究方法这块儿上出点主意。是不