ShardingJDBC分库分表

2024-02-26 15:20
文章标签 分库 分表 shardingjdbc

本文主要是介绍ShardingJDBC分库分表，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

ShardingSphere

ShardingJDBC客户端分库分表

ShardingProxy服务端分库分表

两者对比

ShardingJDBC分库分表实战

需求

步骤

分片策略汇总

ShardingSphere

        ShardingSphere最为核心的产品有两个：一个是ShardingJDBC，这是一个进行客户端分库分表的框架。另一个是ShardingProxy，这是一个进行服务端分库分表的产品。他们代表了两种不同的分库分表的实现思路。

ShardingJDBC客户端分库分表

        ShardingSphereJDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。

  • 适用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC；
  • 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, HikariCP 等；
  • 支持任意实现 JDBC 规范的数据库，目前支持 MySQL，PostgreSQL，Oracle，SQLServer 以及任何可使用 JDBC 访问的数据库。

ShardingProxy服务端分库分表

        ShardingSphere-Proxy 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支持。 目前提供 MySQL 和 PostgreSQL 协议，透明化数据库操作，对 DBA 更加友好。

  • 向应用程序完全透明，可直接当做 MySQL/PostgreSQL 使用；
  • 兼容 MariaDB 等基于 MySQL 协议的数据库，以及 openGauss 等基于 PostgreSQL 协议的数据库；
  • 适用于任何兼容 MySQL/PostgreSQL 协议的的客户端，如：MySQL Command Client, MySQL Workbench, Navicat 等。

两者对比

ShardingSphere-JDBCShardingSphere-Proxy
数据库任意MySQL/PostgreSQL
连接消耗数高低
异构语言仅 Java任意
性能损耗低损耗略高
无中心化是否
静态入口无有

ShardingJDBC分库分表实战

需求

        将course表分到coursedb，coursedb2两个库， 两个库分别有course_1， course_1表， 总共四张表

步骤

1. 搭建开发环境SpringBoot+MyBatis+MyBatis-plus

2. 去数据库建真实库表

-- 建库
CREATE DATABASE `coursedb` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';CREATE TABLE `coursedb`.`course_1`  (`cid` bigint(0) NOT NULL,`cname` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,`user_id` bigint(0) NOT NULL,`cstatus` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,PRIMARY KEY (`cid`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;CREATE TABLE `coursedb`.`course_2`  (`cid` bigint(0) NOT NULL,`cname` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,`user_id` bigint(0) NOT NULL,`cstatus` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,PRIMARY KEY (`cid`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;-- 建库
CREATE DATABASE `coursedb2` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';CREATE TABLE `coursedb2`.`course_1`  (`cid` bigint(0) NOT NULL,`cname` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,`user_id` bigint(0) NOT NULL,`cstatus` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,PRIMARY KEY (`cid`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;CREATE TABLE `coursedb2`.`course_2`  (`cid` bigint(0) NOT NULL,`cname` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,`user_id` bigint(0) NOT NULL,`cstatus` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,PRIMARY KEY (`cid`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

3. 引入ShardingJDBC maven依赖

        <dependency><groupId>org.apache.shardingsphere</groupId><artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId><version>5.2.1</version><exclusions><exclusion><artifactId>snakeyaml</artifactId><groupId>org.yaml</groupId></exclusion><exclusion><artifactId>cosid-core</artifactId><groupId>me.ahoo.cosid</groupId></exclusion></exclusions></dependency>

5. 修改配置文件。 设置分片策略， 分片键. 这里使用单一分片键

# 打印SQL
spring.shardingsphere.props.sql-show = true
spring.main.allow-bean-definition-overriding = true# ----------------数据源配置
# 指定对应的库
spring.shardingsphere.datasource.names=m0,m1spring.shardingsphere.datasource.m0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.m0.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.m0.url=jdbc:mysql://localhost:3306/coursedb?serverTimezone=UTC
spring.shardingsphere.datasource.m0.username=root
spring.shardingsphere.datasource.m0.password=3cNp1la?yw%wspring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.m1.url=jdbc:mysql://localhost:3306/coursedb2?serverTimezone=UTC
spring.shardingsphere.datasource.m1.username=root
spring.shardingsphere.datasource.m1.password=3cNp1la?yw%w
#------------------------分布式序列算法配置
# 雪花算法，生成Long类型主键。
spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.type=SNOWFLAKE
spring.shardingsphere.rules.sharding.key-generators.alg_snowflake.props.worker.id=1
# 指定分布式主键生成策略
spring.shardingsphere.rules.sharding.tables.course.key-generate-strategy.column=cid
spring.shardingsphere.rules.sharding.tables.course.key-generate-strategy.key-generator-name=alg_snowflake
#-----------------------配置实际分片节点 m0.course_1,m0.course_2 ,m1.course_1,m1.course_2
spring.shardingsphere.rules.sharding.tables.course.actual-data-nodes=m$->{0..1}.course_$->{1..2}
#MOD分库策略
spring.shardingsphere.rules.sharding.tables.course.database-strategy.standard.sharding-column=cid
spring.shardingsphere.rules.sharding.tables.course.database-strategy.standard.sharding-algorithm-name=course_db_algspring.shardingsphere.rules.sharding.sharding-algorithms.course_db_alg.type=MOD
spring.shardingsphere.rules.sharding.sharding-algorithms.course_db_alg.props.sharding-count=2
#给course表指定分表策略  standard-按单一分片键进行精确或范围分片
spring.shardingsphere.rules.sharding.tables.course.table-strategy.standard.sharding-column=cid
spring.shardingsphere.rules.sharding.tables.course.table-strategy.standard.sharding-algorithm-name=course_tbl_alg# 分表策略-INLINE：按单一分片键分表
spring.shardingsphere.rules.sharding.sharding-algorithms.course_tbl_alg.type=INLINE
# 允许在inline策略中使用范围查询。
spring.shardingsphere.rules.sharding.sharding-algorithms.course_tbl_alg.props.allow-range-query-with-inline-sharding=true
# 均匀分布到4张表
spring.shardingsphere.rules.sharding.sharding-algorithms.course_tbl_alg.props.algorithm-expression=course_$->{(cid%4).intdiv(2)+1}

6. 插入数据测试

    @Testpublic void addcourse() {for (int i = 0; i < 10; i++) {Course c = new Course();c.setCid(i + 0L);c.setCname("java");c.setUserId(1001L);c.setCstatus("1");courseMapper.insert(c);}}

7. 验证分库分表效果

 

 

分片策略汇总

  1. INLINE简单分片
  2. STANDARD标准分片（范围查询）
  3. COMPLEX_INLINE复杂分片（多分片键）
  4. CLASS_BASED自定义分片 （自定义分片策略）
  5. HINT_INLINE强制分片算法 （不关心sql）

这篇关于ShardingJDBC分库分表的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/749302。

相关文章

Mycat搭建分库分表方式

Mycat搭建分库分表方式

《Mycat搭建分库分表方式》文章介绍了如何使用分库分表架构来解决单表数据量过大带来的性能和存储容量限制的问题,通过在一对主从复制节点上配置数据源,并使用分片算法将数据分配到不同的数据库表中,可以有效... 目录分库分表解决的问题分库分表架构添加数据验证结果 总结分库分表解决的问题单表数据量过大带来的性能
阅读更多...
分库分表核心理念

分库分表核心理念

文章目录 分库，分表，分库分表什么时候分库？什么时候分表？什么时候既分库又分表？横向拆分 & 纵向拆分 分表算法Range 范围Hash 取模一致性 Hash斐波那契散列 严格雪崩标准（SAC）订单分库分表实战全局 ID 的生成UUID基于某个单表做自增主键雪花算法时间回拨问题 分库分表迁移停机迁移方案双写迁移方案 分库分表带来的问题参考 & 推荐文章 分库，分表，分库分表
阅读更多...
基于shard-jdbc中间件，实现数据分库分表

基于shard-jdbc中间件，实现数据分库分表

一、水平分割 1、水平分库 1)、概念： 以字段为依据，按照一定策略，将一个库中的数据拆分到多个库中。 2)、结果 每个库的结构都一样；数据都不一样； 所有库的并集是全量数据； 2、水平分表 1)、概念 以字段为依据，按照一定策略，将一个表中的数据拆分到多个表中。 2)、结果 每个表的结构都一样；数据都不一样； 所有表的并集是全量数据； 二、Shard-jdbc 中间件 1、架构图 2、特点
阅读更多...
基于Shard-Jdbc分库分表，数据库扩容方案

基于Shard-Jdbc分库分表，数据库扩容方案

一、数据库扩容 1、业务场景 互联网项目中有很多“数据量大，业务复杂度高，需要分库分表”的业务场景。 这样分层的架构 （1）上层是业务层biz，实现业务逻辑封装； （2）中间是服务层service，封装数据访问； （3）下层是数据层db，存储业务数据； 2、扩容场景和问题 当数据量持续新增，面临着这样一些需求，两台数据库无法容纳，需要数据库扩容，这里选择2台—扩容到3台的模式，如下图
阅读更多...
分库分表：应对大数据量挑战的数据库扩展策略

分库分表：应对大数据量挑战的数据库扩展策略

随着互联网技术的发展，数据量的爆炸性增长给数据库系统带来了前所未有的挑战。为了有效管理大规模数据并保持高性能，分库分表成为了一种常见的数据库扩展策略。本文将探讨分库分表的概念、动机、实施策略以及潜在的挑战和解决方案。 什么是分库分表？ 分库分表是一种数据库架构设计策略，它将数据分散存储在多个数据库（分库）和多个表（分表）中。这种方法可以提高数据库的可伸缩性、可用性和性能。 为什么需要分库分表
阅读更多...
一文读懂数据库分库分表

一文读懂数据库分库分表

阅读此文你将了解： 什么是分库分表以及为什么分库分表如何分库分表分库分表常见几种方式以及优缺点如何选择分库分表的方式 数据库常见优化方案 对于后端程序员来说，绕不开数据库的使用与方案选型，那么随着业务规模的逐渐扩大，其对于存储的使用上也需要随之进行升级和优化。 随着规模的扩大，数据库面临如下问题： 读压力：并发QPS、索引不合理、SQL语句不合理、锁粒度写压力：并发QPS、事务、锁粒
阅读更多...
强！分库分表与分布式数据库技术选项分析

强！分库分表与分布式数据库技术选项分析

点击上方“朱小厮的博客”，选择“设为星标” 后台回复"1024"领取公众号专属资料 来源：rrd.me/gEhKy 最近经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。 本文通过对两种模式关键特性实现原理对比，希望可以尽可能客观、中立的阐明各自真实
阅读更多...
阿里面试题：分库分表无限扩容后的瓶颈以及解决方案

阿里面试题：分库分表无限扩容后的瓶颈以及解决方案

点击上方“朱小厮的博客”，选择“设为星标” 后台回复"书"，获取 后台回复“k8s”，可领取k8s资料 前言 像我这样的菜鸟，总会有各种疑问，刚开始是对 JDK API 的疑问，对 NIO 的疑问，对 JVM 的疑问，当工作几年后，对服务的可用性，可扩展性也有了新的疑问，什么疑问呢？其实是老生常谈的话题：服务的扩容问题。 正常情况下的服务演化之路 让我们从最初开始。 单体应用 每个创业公司基本都
阅读更多...
分表实战二

分表实战二

关于如何生成表？查询如何确定表？考虑后期容错，先用hook来实现自动创建表和自动获取查询表 利用behavior在必要的模块进行hook监听 更改文件 app/tags.php…/behavior/HouseBehavior.phpapp/houserent/controller/TestController.php 代码如下 app/tags.php …/behavior/Hou
阅读更多...
分表实战一

分表实战一

现在单表超过一千万记录，虽然索引完全使用，依旧会出现慢查询。日增平均40万。 数据库要重新设计，目的提高查询速度，只查询热数据。 设计思路 根据热数据时效性，保持在近三个月内，计划一年生成6张表。利用union来查询，当前月在内的近三个月或四个月的数据。牵扯查询尽量使用索引。 如何生成表？ 比如2020年，生成20200102，20200304，20200506，20200708，
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2