SpringBoot集成Sharding-jdbc（水平分表）

2024-04-20 14:12
文章标签 java springboot jdbc spring 集成 水平 分表 sharding

本文主要是介绍SpringBoot集成Sharding-jdbc（水平分表），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

SpringBoot集成Sharding-jdbc（水平分表）

  • 1.Sharding-jdbc的应用场景
  • 2.实际使用
    • 2.0 项目层级
    • 2.1 导入依赖
    • 2.2 application.yml配置
    • 2.3 dao层
    • 2.4 对应的mybatis的xml文件
    • 2.5 Service层
    • 2.6 pojo
    • 2.7 controller
    • 2.8 多线程配置

1.Sharding-jdbc的应用场景

其实就是针对分库分表后的操作简化，相当于增强版的JDBC驱动

框架：
在这里插入图片描述
执行步骤：

  • 解析SQL，获取片键值，在本文中设置的片键值是order_id
  • Sharding-JDBC通过规则配置t_order_$->{order_id % 2+1}，可知当order_id为偶数时，应该往t_order_1表中插数据，为奇数时，往t_order_2表中插入数据
  • 那么Sharding-JDBC根据order_id的值改写SQL语句，改写后的SQL语句是真实要执行的SQL语句
  • 接着，执行改写后的真实SQL语句
  • 最后将所有真正执行的SQL结果进行合并汇总，返回

从上面的执行过程可知，只需要配置好片键值，Sharding-JDBC自动帮你根据规则请求表，极大了简化了开发

2.实际使用

2.0 项目层级

在这里插入图片描述

2.1 导入依赖


<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.test.sharding</groupId><artifactId>Sharding-JDBC-Test</artifactId><version>0.0.1-SNAPSHOT</version><name>Sharding-JDBC-Test</name><description>Sharding-JDBC-Test</description><properties><java.version>1.8</java.version><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding><spring-boot.version>2.4.2</spring-boot.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><!--mybatis--><dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter</artifactId><version>2.3.0</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.28</version></dependency><!--druid--><dependency><groupId>com.alibaba</groupId><artifactId>druid-spring-boot-starter</artifactId><version>1.2.8</version></dependency><!--sharding-jdbc--><!-- https://mvnrepository.com/artifact/org.apache.shardingsphere/sharding-jdbc-spring-boot-starter --><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId><version>4.0.0-RC1</version></dependency><!--mybatis分页依赖--><dependency><groupId>com.github.pagehelper</groupId><artifactId>pagehelper-spring-boot-starter</artifactId><version>1.4.0</version></dependency><dependency><groupId>org.junit.jupiter</groupId><artifactId>junit-jupiter-api</artifactId><scope>test</scope></dependency><dependency><groupId>javax.xml.bind</groupId><artifactId>jaxb-api</artifactId><version>2.3.1</version></dependency><dependency><groupId>com.sun.xml.bind</groupId><artifactId>jaxb-impl</artifactId><version>2.3.1</version></dependency><dependency><groupId>org.glassfish.jaxb</groupId><artifactId>jaxb-runtime</artifactId><version>2.3.1</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><scope>test</scope></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><scope>test</scope></dependency></dependencies><dependencyManagement><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-dependencies</artifactId><version>${spring-boot.version}</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.1</version><configuration><source>1.8</source><target>1.8</target><encoding>UTF-8</encoding></configuration></plugin><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><version>${spring-boot.version}</version><configuration><mainClass>com.test.sharding.ShardingJdbcTestApplication</mainClass><skip>true</skip></configuration><executions><execution><id>repackage</id><goals><goal>repackage</goal></goals></execution></executions></plugin></plugins></build></project>

这里需要特别注意SpringBoot、Sharding-jdbc和mybatis的版本，之前我使用的是最新的SpringBoot3.24版本，而Sharding-jdbc无论用啥版本都报错，显示无法找到url，驱动类。然后如果mybatis版本比较低的话，就会导致使用@Autowired无法自动注入，找不到对应的Bean。

因此，最好的解决方式就是使用SpringBoot的2.x版本，Jdk1.8即可。

2.2 application.yml配置


server:port: 8080mybatis:#mapper文件存放位置mapper-locations: classpath:/mapper/*.xml# 实体类的存放地址type-aliases-package: com.test.sharding.domain.pojoconfiguration:# 是否开启驼峰 Ming == m_ingmap-underscore-to-camel-case: truespring:main:allow-bean-definition-overriding: trueapplication:name: sharding-jdbc-testshardingsphere:props:sql:show: truedatasource:names: db1db1:type: com.alibaba.druid.pool.DruidDataSource#mysql驱动driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://localhost:3306/sharding-jdbc-test?useUnicode=true&characterEncoding=utf8&useSSL=falseusername: rootpassword: rootsharding:tables:#scs_product可以任意命名，sql中一致，为了方便理解，这里一般写分表共有的# 比如我的scs_product_1  和 scs_product_2  那就写scs_product好区分# 当执行sql中出现scs_product，sharding-jdbc会将其操作到对应的表scs_product:actual-data-nodes: db1.scs_product_$->{1..2}# 指定主键生成策略为雪花id,全局主键key-generator:column: PRODUCT_IDtype: SNOWFLAKE#指定scs_product表的分片策略，  分片键和分片算法 用于计算真正的表名table-strategy:inline:# 偶数进到scs_product_1  奇数进到scs_product_2# 对于根据分片字段为条件的，会先判断是否涉及两张表，# 如何是两张表则会两个表都查，如果只涉及单表，则只查询一张表。algorithm-expression: scs_product_$->{PRODUCT_ID % 2 + 1}# 指定分片键为PRODUCT_IDsharding-column: PRODUCT_ID

2.3 dao层

ShardingMapper.java

@Mapper
public interface ShardingMapper {void insertProduct(@Param("scsProduct") ScsProduct scsProduct);List<ScsProduct> selectProduct();//根据id列表查询商品List<ScsProduct> selectProductByIds(@Param("ids") List<Long> ids);
}

2.4 对应的mybatis的xml文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.test.sharding.dao.ShardingMapper"><resultMap id="BaseResultMap" type="com.test.sharding.domain.pojo.ScsProduct"><!--@mbg.generated--><id column="PRODUCT_ID" jdbcType="BIGINT" property="productId" /><result column="PRODUCT_CODE" jdbcType="VARCHAR" property="productCode" /><result column="PRODUCT_NAME" jdbcType="VARCHAR" property="productName" /><result column="PRODUCT_AMOUNT" jdbcType="INTEGER" property="productAmount" /></resultMap><insert id="insertProduct" parameterType="com.test.sharding.domain.pojo.ScsProduct">insert into scs_product (PRODUCT_CODE, PRODUCT_NAME, PRODUCT_AMOUNT)values (#{scsProduct.productCode, jdbcType=VARCHAR}, #{scsProduct.productName, jdbcType=VARCHAR}, #{scsProduct.productAmount, jdbcType=INTEGER})</insert><select id="selectProduct" resultMap="BaseResultMap">select PRODUCT_ID, PRODUCT_CODE, PRODUCT_NAME, PRODUCT_AMOUNTfrom scs_product
<!--    where PRODUCT_CODE = 'SHARDING-JDBC166' --><!--此时的真是查询sql是两个表都查-->
<!--    PRODUCT_ID in (979716175636201483,979716175636201481) 因为都是奇数，则只查询 scs_product_2--><!-- PRODUCT_ID = 979716175636201483  此时会触发分片机制，根据主键字段分片查询对应的表 scs_product_2-->
<!--    PRODUCT_ID in (979716175636201483,979716175636201481,979716185538953216,979716184402296836)-->
<!--    order by PRODUCT_AMOUNT desc--><!-- 对于根据分片字段为条件的，会先判断是否涉及两张表，如何是两张表则会两个表都查，如果只涉及单表，则只查询一张表--></select><select id="selectProductByIds" resultMap="BaseResultMap" resultType="com.test.sharding.domain.pojo.ScsProduct">select PRODUCT_ID, PRODUCT_CODE, PRODUCT_NAME, PRODUCT_AMOUNTfrom scs_productwhere PRODUCT_ID in<foreach collection="ids" item="item" index="index" open="(" separator="," close=")">#{item}</foreach></select>
</mapper>

2.5 Service层

ShardingService.java

public interface ShardingService {void insertProduct(ScsProduct scsProduct);List<ScsProduct> queryProduct();PageInfo<ScsProduct> queryProductPage();List<ScsProduct> queryProductByIds(List<Long> ids);
}

ShardingServiceImpl.java

@Service
public class ShardingServiceImpl implements ShardingService {@Resourceprivate ShardingMapper shardingMapper;@Override@Async(value = "taskThread")
//    @Transactional(rollbackFor = {TRANSACTION_REQUIRED.class})public void insertProduct(ScsProduct scsProduct) {scsProduct.setProductName("小商品系列-sharding-jdbc"+Thread.currentThread().getName());shardingMapper.insertProduct(scsProduct);}@Overridepublic List<ScsProduct> queryProduct() {return shardingMapper.selectProduct();}@Overridepublic PageInfo<ScsProduct> queryProductPage() {Integer pageIndex = 1;Integer pageSize = 15;PageHelper.startPage(pageIndex,pageSize);List<ScsProduct> scsProductList = shardingMapper.selectProduct();return new PageInfo<>(scsProductList);}@Overridepublic List<ScsProduct> queryProductByIds(List<Long> ids) {return shardingMapper.selectProductByIds(ids);}
}

2.6 pojo

package com.test.sharding.domain.pojo;import lombok.Data;import java.math.BigInteger;@Data
public class ScsProduct {/*** 商品主键id*/private Long productId;/*** 商品编码*/private String productCode;/*** 商品名称*/private String productName;/*** 商品库存*/private Integer productAmount;
}

2.7 controller

@RestController
@RequestMapping("/shardingJdbcController")
@Slf4j
public class ShardingJdbcController {@Resourceprivate ShardingService shardingService;@PostMapping("/insertProduct")@CrossOriginpublic String insertProduct(){ScsProduct scsProduct = new ScsProduct();for(int i = 1 ; i < 10 ; i++){scsProduct.setProductAmount(i);scsProduct.setProductCode("SHARDING-JDBC"+i);shardingService.insertProduct(scsProduct);try {Thread.sleep(10);} catch (InterruptedException e) {throw new RuntimeException(e);}}return "插入成功！";}@PostMapping("/queryProduct")@CrossOriginpublic List<ScsProduct> queryProduct(){return shardingService.queryProduct();}@PostMapping("/queryProductPage")@CrossOriginpublic PageInfo<ScsProduct> queryProductPage(){return shardingService.queryProductPage();}
}

2.8 多线程配置

@Configuration
@EnableAsync
public class ThreadPoolConfig {@Bean(value = "taskThread")public ThreadPoolTaskExecutor taskThread(){ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();executor.setCorePoolSize(12);executor.setMaxPoolSize(100);executor.setQueueCapacity(100);executor.setThreadNamePrefix("taskExecutor-product");
//        executor.setKeepAliveSeconds(1000);executor.initialize();return executor;}
}

这篇关于SpringBoot集成Sharding-jdbc（水平分表）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/920472。

相关文章

Spring Boot中WebSocket常用使用方法详解

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP
阅读更多...
SpringBoot+Docker+Graylog 如何让错误自动报警

SpringBoot+Docker+Graylog 如何让错误自动报警

《SpringBoot+Docker+Graylog如何让错误自动报警》SpringBoot默认使用SLF4J与Logback,支持多日志级别和配置方式,可输出到控制台、文件及远程服务器,集成ELK... 目录01 Spring Boot 默认日志框架解析02 Spring Boot 日志级别详解03 Sp
阅读更多...
java中反射Reflection的4个作用详解

java中反射Reflection的4个作用详解

《java中反射Reflection的4个作用详解》反射Reflection是Java等编程语言中的一个重要特性,它允许程序在运行时进行自我检查和对内部成员（如字段、方法、类等）的操作,本文将详细介绍... 目录作用1、在运行时判断任意一个对象所属的类作用2、在运行时构造任意一个类的对象作用3、在运行时判断
阅读更多...
java如何解压zip压缩包

java如何解压zip压缩包

《java如何解压zip压缩包》：本文主要介绍java如何解压zip压缩包问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java解压zip压缩包实例代码结果如下总结java解压zip压缩包坐在旁边的小伙伴问我怎么用 java 将服务器上的压缩文件解压出来，
阅读更多...
SpringBoot中SM2公钥加密、私钥解密的实现示例详解

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具
阅读更多...
Spring WebFlux 与 WebClient 使用指南及最佳实践

Spring WebFlux 与 WebClient 使用指南及最佳实践

《SpringWebFlux与WebClient使用指南及最佳实践》WebClient是SpringWebFlux模块提供的非阻塞、响应式HTTP客户端,基于ProjectReactor实现,... 目录Spring WebFlux 与 WebClient 使用指南1. WebClient 概述2. 核心依
阅读更多...
Spring Boot @RestControllerAdvice全局异常处理最佳实践

Spring Boot @RestControllerAdvice全局异常处理最佳实践

《SpringBoot@RestControllerAdvice全局异常处理最佳实践》本文详解SpringBoot中通过@RestControllerAdvice实现全局异常处理,强调代码复用、统... 目录前言一、为什么要使用全局异常处理？二、核心注解解析1. @RestControllerAdvice2
阅读更多...
Spring IoC 容器的使用详解(最新整理)

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注
阅读更多...
Spring事务传播机制最佳实践

Spring事务传播机制最佳实践

《Spring事务传播机制最佳实践》Spring的事务传播机制为我们提供了优雅的解决方案,本文将带您深入理解这一机制,掌握不同场景下的最佳实践,感兴趣的朋友一起看看吧... 目录1. 什么是事务传播行为2. Spring支持的七种事务传播行为2.1 REQUIRED（默认）2.2 SUPPORTS2
阅读更多...
怎样通过分析GC日志来定位Java进程的内存问题

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》：本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2