开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo

2024-03-23 05:28

本文主要是介绍开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在笔者心中,消息队列缓存分库分表是高并发解决方案三剑客。

分库分表之所以被广泛使用,因为工程相对简单,但分库分表并不仅仅是分片,还是需要考虑如何扩缩容(全量同步、增量同步、数据校验等)。

分库分表技术思维导图

因此笔者做了一个教学型分库分表示例项目 ,计划将分库分表的技术体系都实际演示一遍。

https://github.com/makemyownlife/shardingsphere-jdbc-demo

当前项目包含三个模块 :

  • shardingjdbc4-spring:使用 shardingsphere-JDBC 4.X 实现分库分表功能

  • shardingjdbc5-spring:使用 shardingsphere-JDBC 5.X 实现分库分表功能

  • idgenerator: 基于 grpc 实现一个简单的服务端 ID 生成器

下面我们展示如何运行 shardingjdbc4-spring 模块,shardingsphere JDBC 4.x 如何整合 spring 实现分库分表功能。

1 业务分析

笔者曾经为武汉一家 O2O 公司订单服务做过分库分表架构设计 ,当企业用户创建一条采购订单 , 会生成如下记录:

  • 订单基础表 t_ent_order :单条记录

  • 订单详情表 t_ent_order_detail :单条记录

  • 订单明细表 t_ent_order_item:N 条记录

订单每年预估生成记录 1 亿条,数据量不大也不小,笔者参考原来神州专车的分库分表方式,制定了如下的分库分表策略:

  • 订单基础表按照 ent_id (企业用户编号) 分库(四个分库),订单详情表保持一致。

  • 订单明细表按照 ent_id (企业用户编号) 分库 (四个分库),同时也要按照 ent_id (企业编号) 分表(八个分表)。

2 环境准备

创建 4 个库,分别是:ds_0、ds_1、ds_2、ds_3 。

然后这四个分库分别执行 doc 目录下的 shardingjdbc-spring.sql 文件。

执行结果如下图所示,每个分库都包含订单基础表 , 订单详情表 ,订单明细表 。但是因为明细表需要分表,所以包含多张表。

3 项目结构

打开项目,如下图所示:

这是一个典型的 springboot 项目,包含控制器层、实体层、服务层 。

1、pom 文件配置依赖

<dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId><version>4.1.1</version>
</dependency>

2、分片配置 application-test.yml

  • 配置数据源,上面配置数据源是: ds0、ds1、ds2、ds3 ;

  • 配置打印日志,也就是:sql.show ,在测试环境建议打开 ,便于调试;

  • 配置哪些表需要分库分表 ,在 shardingsphere.datasource.sharding.tables 节点下面配置:

上图中我们看到配置分片规则包含如下两点:

1.真实节点

​ 对于我们的应用来讲,我们查询的逻辑表是:t_ent_order_item 。

​ 它们在数据库中的真实形态是:t_ent_order_item_0 到 t_ent_order_item_7

​ 真实数据节点是指数据分片的最小单元,由数据源名称和数据表组成。

​ 订单明细表的真实节点是:ds$->{0..3}.t_ent_order_item_$->{0..7} 。

2.分库分表算法

分别配置分库策略和分表策略 , 每种策略都需要配置分片字段( sharding-columns )和分片算法

4 测试接口

修改配置文件 application-test.yml ,配置好 MySQL 数据库 和 Redis 服务 。

启动 Main 函数:

启动过程中,会打印 shardingsphere jdbc 日志 。

启动成功之后,访问 swagger ui 地址:

http://localhost:9793/shardingsphere-jdbc-server/doc.html#/home

接下来,我们进行两个测试:新增订单和按照订单 ID 查询

1、测试存储订单

点击发送按钮,接口响应成功。

我们插入1 条订单记录、1 条订单详情表进入 ds3 分片,并且 2 条订单条目表进入 ds3 分片的 t_ent_order_item_7 表。

2、测试存储订单

参数名称是 orderId , 参数值:609335823493160961 ,点击发送按钮,接口响应成功 , 返回订单信息。

文章转载自:勇哥编程游记

原文链接:https://www.cnblogs.com/makemylife/p/18088346

体验地址:引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构

这篇关于开源一个教学型分库分表示例项目 shardingsphere-jdbc-demo的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/837278

相关文章

Python 中 requests 与 aiohttp 在实际项目中的选择策略详解

《Python中requests与aiohttp在实际项目中的选择策略详解》本文主要介绍了Python爬虫开发中常用的两个库requests和aiohttp的使用方法及其区别,通过实际项目案... 目录一、requests 库二、aiohttp 库三、requests 和 aiohttp 的比较四、requ

SpringBoot项目启动后自动加载系统配置的多种实现方式

《SpringBoot项目启动后自动加载系统配置的多种实现方式》:本文主要介绍SpringBoot项目启动后自动加载系统配置的多种实现方式,并通过代码示例讲解的非常详细,对大家的学习或工作有一定的... 目录1. 使用 CommandLineRunner实现方式:2. 使用 ApplicationRunne

使用IntelliJ IDEA创建简单的Java Web项目完整步骤

《使用IntelliJIDEA创建简单的JavaWeb项目完整步骤》:本文主要介绍如何使用IntelliJIDEA创建一个简单的JavaWeb项目,实现登录、注册和查看用户列表功能,使用Se... 目录前置准备项目功能实现步骤1. 创建项目2. 配置 Tomcat3. 项目文件结构4. 创建数据库和表5.

Python项目打包部署到服务器的实现

《Python项目打包部署到服务器的实现》本文主要介绍了PyCharm和Ubuntu服务器部署Python项目,包括打包、上传、安装和设置自启动服务的步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录一、准备工作二、项目打包三、部署到服务器四、设置服务自启动一、准备工作开发环境:本文以PyChar

多模块的springboot项目发布指定模块的脚本方式

《多模块的springboot项目发布指定模块的脚本方式》该文章主要介绍了如何在多模块的SpringBoot项目中发布指定模块的脚本,作者原先的脚本会清理并编译所有模块,导致发布时间过长,通过简化脚本... 目录多模块的springboot项目发布指定模块的脚本1、不计成本地全部发布2、指定模块发布总结多模

SpringBoot项目删除Bean或者不加载Bean的问题解决

《SpringBoot项目删除Bean或者不加载Bean的问题解决》文章介绍了在SpringBoot项目中如何使用@ComponentScan注解和自定义过滤器实现不加载某些Bean的方法,本文通过实... 使用@ComponentScan注解中的@ComponentScan.Filter标记不加载。@C

Mycat搭建分库分表方式

《Mycat搭建分库分表方式》文章介绍了如何使用分库分表架构来解决单表数据量过大带来的性能和存储容量限制的问题,通过在一对主从复制节点上配置数据源,并使用分片算法将数据分配到不同的数据库表中,可以有效... 目录分库分表解决的问题分库分表架构添加数据验证结果 总结分库分表解决的问题单表数据量过大带来的性能

javafx 如何将项目打包为 Windows 的可执行文件exe

《javafx如何将项目打包为Windows的可执行文件exe》文章介绍了三种将JavaFX项目打包为.exe文件的方法:方法1使用jpackage(适用于JDK14及以上版本),方法2使用La... 目录方法 1:使用 jpackage(适用于 JDK 14 及更高版本)方法 2:使用 Launch4j(

Docker集成CI/CD的项目实践

《Docker集成CI/CD的项目实践》本文主要介绍了Docker集成CI/CD的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、引言1.1 什么是 CI/CD?1.2 docker 在 CI/CD 中的作用二、Docke

SpringBoot项目引入token设置方式

《SpringBoot项目引入token设置方式》本文详细介绍了JWT(JSONWebToken)的基本概念、结构、应用场景以及工作原理,通过动手实践,展示了如何在SpringBoot项目中实现JWT... 目录一. 先了解熟悉JWT(jsON Web Token)1. JSON Web Token是什么鬼