ShardingJdbc实战-分库分表

2024-03-02 20:52

本文主要是介绍ShardingJdbc实战-分库分表,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 基本配置
  • 分库分表的分片策略
    • 一、inline 行表达时分片策略
      • algorithm-expression行表达式
      • 完整案例和配置如下
    • 二、根据实时间日期 - 按照标准规则分库分表
      • 标准分片 - Standard
      • 完整案例和配置如下


基本配置

逻辑表

逻辑表是指:水平拆分的数据库或者数据表的相同路基和数据结构表的总称。比如用户数据根据用户id%2拆分为2个表,分别是:ksd_user0和ksd_user1。他们的逻辑表名是:ksd_user。
在shardingjdbc中的定义方式如下:

spring:shardingsphere:sharding:tables:# ksd_user 逻辑表名ksd_user:

分库分表数据节点 - actual-data-nodes

 tables:# ksd_user 逻辑表名ksd_user:# 数据节点:多数据源$->{0..N}.逻辑表名$->{0..N} 相同表actual-data-nodes: ds$->{0..2}.ksd_user$->{0..2}# 也可以这么写,不同数据源不同表actual-data-nodes: ds0.ksd_user$->{0..2},ds1.ksd_user$->{2..4}# 指定单数据源的配置方式-同一个数据源,不同表actual-data-nodes: ds0.ksd_user$->{0..4}# 全部手动指定actual-data-nodes: ds0.ksd_user0,ds1.ksd_user0,ds0.ksd_user1,ds1.ksd_user1,

寻找规则如下
在这里插入图片描述

分库分表的分片策略

在这里插入图片描述
分片策略由分片键和分片算法组成

一、inline 行表达时分片策略

对应InlineShardingStragey。使用Groovy的表达时,提供对SQL语句种的=和in的分片操作支持,只支持单分片键。对于简单的分片算法,可以通过简单的配置使用,从而避免繁琐的Java代码开放,如:ksd_user${分片键(数据表字段)userid % 5} 表示ksd_user表根据某字段(userid)模 5.从而分为5张表,表名称为:ksd_user0到ksd_user4 。数据库也是如此。

    # 配置默认数据源ds1sharding:# 默认数据源,主要用于写,注意一定要配置读写分离 ,注意:如果不配置,那么就会把三个节点都当做从slave节点,新增,修改和删除会出错。default-data-source-name: ds0# 配置分表的规则tables:# ksd_user 逻辑表名ksd_user:key-generator:# 主键的列明,雪花算法,也可以是UUIDcolumn: idtype: SNOWFLAKE# 数据节点:数据源$->{0..N}.逻辑表名$->{0..N}actual-data-nodes: ds$->{0..2}.ksd_user$->{0..2}# 拆分库策略,也就是什么样子的数据放入放到哪个数据库中。database-strategy:inline:sharding-column: sex    # 分片字段(分片键)algorithm-expression: ds$->{sex % 3} # 分片算法表达式# 拆分表策略,也就是什么样子的数据放入放到哪个数据表中。table-strategy:inline:sharding-column: age    # 分片字段(分片键)algorithm-expression: ksd_user$->{age % 3} # 分片算法表达式

grove表达式说明:

  • ${begin…end} 表示区间范围
  • ${[unit1,unit2,….,unitn]} 表示枚举值
  • 行表达式种如果出现连续多个 e x p r e s s s i o n 或 {expresssion}或 expresssion->{expression}表达式,整个表达时最终的结果将会根据每个子表达式的结果进行笛卡尔组合

algorithm-expression行表达式

在这里插入图片描述

完整案例和配置如下

  • 准备三台服务器(测试用也可以用docker 安装三个服务),三个数据库ksd_sharding-db,名字相同,两个数据源ds0,ds1,ds2
  • 每个数据库下方新建ksd_user0、ksd_user1、ksd_user1即可
  • 数据库规则,result = (sex%3),result=0的放入ds2库,result=1的放入ds1库,result=2的放入ds2库
  • 数据表规则:result = (age%3),根据取模结果分别放入ksd_user0、ksd_user1、ksd_user1表
  • 如果数据库配置了主从复制,需要将主从复制取消掉
mysql> stop slave;
server:port: 8085
spring:main:allow-bean-definition-overriding: trueshardingsphere:# 参数配置,显示sqlprops:sql:show: true# 配置数据源datasource:# 给每个数据源取别名,下面的ds1,ds2,ds3任意取名字names: ds0,ds1,ds2# 给master-ds1每个数据源配置数据库连接信息ds0:# 配置druid数据源type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://master:port/ksd-sharding-db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMTusername: rootpassword: 123456maxPoolSize: 100minPoolSize: 5# 配置ds2-slaveds1:type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://slave1:port/ksd-sharding-db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMTusername: rootpassword: 123456maxPoolSize: 10minPoolSize: 5# 配置ds3-slaveds2:type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://slave2:port/ksd-sharding-db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMTusername: rootpassword: 123456maxPoolSize: 10minPoolSize: 5# 配置默认数据源ds1sharding:# 默认数据源,主要用于写,注意一定要配置读写分离 ,注意:如果不配置,那么就会把三个节点都当做从slave节点,新增,修改和删除会出错。default-data-source-name: ds0# 配置分表的规则tables:# ksd_user 逻辑表名ksd_user:key-generator:# 主键的列明,雪花算法,也可以是UUIDcolumn: idtype: SNOWFLAKE# 数据节点:数据源$->{0..N}.逻辑表名$->{0..N}actual-data-nodes: ds$->{0..2}.ksd_user$->{0..2}# 拆分库策略,也就是什么样子的数据放入放到哪个数据库中。database-strategy:inline:sharding-column: sex    # 分片字段(分片键)algorithm-expression: ds$->{sex % 3} # 分片算法表达式# 拆分表策略,也就是什么样子的数据放入放到哪个数据表中。table-strategy:inline:sharding-column: age    # 分片字段(分片键)algorithm-expression: ksd_user$->{age % 3} # 分片算法表达式
# 整合mybatis的配置XXXXX
mybatis:mapper-locations: classpath:mapper/*.xmltype-aliases-package: com.example.shardingjdbc.sharding.entity
@GetMapping("/save")public String insert() {User user = new User();user.setNickname("test" + new Random().nextInt());user.setBirthday(new Date());// 3%3=0,所以这条数据应该在ds0这台服务上user.setSex(3);// 25%3=1  所以这个条数据应该在ksd_user1这个表里面user.setAge(25);user.setPassword("123456");userMapper.addUser(user);return "success";}

在这里插入图片描述

二、根据实时间日期 - 按照标准规则分库分表

标准分片 - Standard

  • 对应StrandardShardingStrategy.提供对SQL语句中的=,in和恶between and 的分片操作支持
  • StrandardShardingStrategy只支持分片键。提供PreciseShardingAlgorithm和RangeShardingAlgorithm两个分片算法
  • PreciseShardingAlgorithm是必选的,用于处理=和IN的分片
  • RangeShardingAlgorithm是可选的,是用于处理Betwwen and分片,如果不配置和RangeShardingAlgorithm,SQL的Between AND 将按照全库路由处理

完整案例和配置如下

yml配置

server:port: 8085
spring:main:allow-bean-definition-overriding: trueshardingsphere:# 参数配置,显示sqlprops:sql:show: true# 配置数据源datasource:# 给每个数据源取别名,下面的ds1,ds2,ds3任意取名字names: ds0,ds1,ds2# 给master-ds1每个数据源配置数据库连接信息ds0:# 配置druid数据源type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://master:port/ksd-sharding-db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMTusername: rootpassword: 123456maxPoolSize: 100minPoolSize: 5# 配置ds2-slaveds1:type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://slave1:port/ksd-sharding-db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMTusername: rootpassword: 123456maxPoolSize: 10minPoolSize: 5# 配置ds3-slaveds2:type: com.alibaba.druid.pool.DruidDataSourcedriver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://slave2:port/ksd-sharding-db?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMTusername: rootpassword: 123456maxPoolSize: 10minPoolSize: 5# 配置默认数据源ds1sharding:# 默认数据源,主要用于写,注意一定要配置读写分离 ,注意:如果不配置,那么就会把三个节点都当做从slave节点,新增,修改和删除会出错。default-data-source-name: ds0# 配置分表的规则tables:# ksd_user 逻辑表名ksd_user:key-generator:# 主键的列明,雪花算法,也可以是UUIDcolumn: idtype: SNOWFLAKE# 数据节点:数据源$->{0..N}.逻辑表名$->{0..N}actual-data-nodes: ds$->{0..2}.ksd_user$->{0..2}# 拆分库策略,也就是什么样子的数据放入放到哪个数据库中。database-strategy:standard:sharding-column: birthday    # 分片字段(分片键)preciseAlgorithmClassName: com.example.shardingjdbc.sharding.algorithm.BirthdayAlgorithm# 拆分表策略,也就是什么样子的数据放入放到哪个数据表中。table-strategy:inline:sharding-column: age    # 分片字段(分片键)algorithm-expression: ksd_user$->{age % 3} # 分片算法表达式
# 整合mybatis的配置XXXXX
mybatis:mapper-locations: classpath:mapper/*.xmltype-aliases-package: com.example.shardingjdbc.sharding.entity

自定义日期规则


/*** @description: BirthdayAlgorithm*/
public class BirthdayAlgorithm implements PreciseShardingAlgorithm<Date> {List<Date> dateList = new ArrayList<>();{Calendar calendar1 = Calendar.getInstance();calendar1.set(2020, 1, 1, 0, 0, 0);Calendar calendar2 = Calendar.getInstance();calendar2.set(2021, 1, 1, 0, 0, 0);Calendar calendar3 = Calendar.getInstance();calendar3.set(2022, 1, 1, 0, 0, 0);dateList.add(calendar1.getTime());dateList.add(calendar2.getTime());dateList.add(calendar3.getTime());}@Overridepublic String doSharding(Collection<String> collection, PreciseShardingValue<Date> preciseShardingValue) {// 获取属性 数据库中的值Date date = preciseShardingValue.getValue();// 获取数据源名称列表Iterator<String> iterator = collection.iterator();String target = null;for (Date item: dateList) {target = iterator.next();if (date.before(item)) {break;}}return target;}
}

测试结果

  • http://localhost:8085/user/save?sex=3&age=3&birthday=2020-03-09 —- ds1
    在这里插入图片描述
  • http://localhost:8085/user/save?sex=3&age=3&birthday=2021-03-09 —- ds2

在这里插入图片描述


这篇关于ShardingJdbc实战-分库分表的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/767401

相关文章

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

Java MQTT实战应用

《JavaMQTT实战应用》本文详解MQTT协议,涵盖其发布/订阅机制、低功耗高效特性、三种服务质量等级(QoS0/1/2),以及客户端、代理、主题的核心概念,最后提供Linux部署教程、Sprin... 目录一、MQTT协议二、MQTT优点三、三种服务质量等级四、客户端、代理、主题1. 客户端(Clien

在Spring Boot中集成RabbitMQ的实战记录

《在SpringBoot中集成RabbitMQ的实战记录》本文介绍SpringBoot集成RabbitMQ的步骤,涵盖配置连接、消息发送与接收,并对比两种定义Exchange与队列的方式:手动声明(... 目录前言准备工作1. 安装 RabbitMQ2. 消息发送者(Producer)配置1. 创建 Spr

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

MySQL中的索引结构和分类实战案例详解

《MySQL中的索引结构和分类实战案例详解》本文详解MySQL索引结构与分类,涵盖B树、B+树、哈希及全文索引,分析其原理与优劣势,并结合实战案例探讨创建、管理及优化技巧,助力提升查询性能,感兴趣的朋... 目录一、索引概述1.1 索引的定义与作用1.2 索引的基本原理二、索引结构详解2.1 B树索引2.2

从入门到精通MySQL 数据库索引(实战案例)

《从入门到精通MySQL数据库索引(实战案例)》索引是数据库的目录,提升查询速度,主要类型包括BTree、Hash、全文、空间索引,需根据场景选择,建议用于高频查询、关联字段、排序等,避免重复率高或... 目录一、索引是什么?能干嘛?核心作用:二、索引的 4 种主要类型(附通俗例子)1. BTree 索引(

Java Web实现类似Excel表格锁定功能实战教程

《JavaWeb实现类似Excel表格锁定功能实战教程》本文将详细介绍通过创建特定div元素并利用CSS布局和JavaScript事件监听来实现类似Excel的锁定行和列效果的方法,感兴趣的朋友跟随... 目录1. 模拟Excel表格锁定功能2. 创建3个div元素实现表格锁定2.1 div元素布局设计2.

Redis 配置文件使用建议redis.conf 从入门到实战

《Redis配置文件使用建议redis.conf从入门到实战》Redis配置方式包括配置文件、命令行参数、运行时CONFIG命令,支持动态修改参数及持久化,常用项涉及端口、绑定、内存策略等,版本8... 目录一、Redis.conf 是什么?二、命令行方式传参(适用于测试)三、运行时动态修改配置(不重启服务

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.