SpringBoot集成Sharding-jdbc（水平分表）

2024-04-20 14:12
文章标签 java springboot jdbc spring 集成 水平 分表 sharding

本文主要是介绍SpringBoot集成Sharding-jdbc（水平分表），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

SpringBoot集成Sharding-jdbc（水平分表）

  • 1.Sharding-jdbc的应用场景
  • 2.实际使用
    • 2.0 项目层级
    • 2.1 导入依赖
    • 2.2 application.yml配置
    • 2.3 dao层
    • 2.4 对应的mybatis的xml文件
    • 2.5 Service层
    • 2.6 pojo
    • 2.7 controller
    • 2.8 多线程配置

1.Sharding-jdbc的应用场景

其实就是针对分库分表后的操作简化，相当于增强版的JDBC驱动

框架：
在这里插入图片描述
执行步骤：

  • 解析SQL，获取片键值，在本文中设置的片键值是order_id
  • Sharding-JDBC通过规则配置t_order_$->{order_id % 2+1}，可知当order_id为偶数时，应该往t_order_1表中插数据，为奇数时，往t_order_2表中插入数据
  • 那么Sharding-JDBC根据order_id的值改写SQL语句，改写后的SQL语句是真实要执行的SQL语句
  • 接着，执行改写后的真实SQL语句
  • 最后将所有真正执行的SQL结果进行合并汇总，返回

从上面的执行过程可知，只需要配置好片键值，Sharding-JDBC自动帮你根据规则请求表，极大了简化了开发

2.实际使用

2.0 项目层级

在这里插入图片描述

2.1 导入依赖


<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.test.sharding</groupId><artifactId>Sharding-JDBC-Test</artifactId><version>0.0.1-SNAPSHOT</version><name>Sharding-JDBC-Test</name><description>Sharding-JDBC-Test</description><properties><java.version>1.8</java.version><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding><spring-boot.version>2.4.2</spring-boot.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><!--mybatis--><dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter</artifactId><version>2.3.0</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.28</version></dependency><!--druid--><dependency><groupId>com.alibaba</groupId><artifactId>druid-spring-boot-starter</artifactId><version>1.2.8</version></dependency><!--sharding-jdbc--><!-- https://mvnrepository.com/artifact/org.apache.shardingsphere/sharding-jdbc-spring-boot-starter --><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId><version>4.0.0-RC1</version></dependency><!--mybatis分页依赖--><dependency><groupId>com.github.pagehelper</groupId><artifactId>pagehelper-spring-boot-starter</artifactId><version>1.4.0</version></dependency><dependency><groupId>org.junit.jupiter</groupId><artifactId>junit-jupiter-api</artifactId><scope>test</scope></dependency><dependency><groupId>javax.xml.bind</groupId><artifactId>jaxb-api</artifactId><version>2.3.1</version></dependency><dependency><groupId>com.sun.xml.bind</groupId><artifactId>jaxb-impl</artifactId><version>2.3.1</version></dependency><dependency><groupId>org.glassfish.jaxb</groupId><artifactId>jaxb-runtime</artifactId><version>2.3.1</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><scope>test</scope></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><scope>test</scope></dependency></dependencies><dependencyManagement><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-dependencies</artifactId><version>${spring-boot.version}</version><type>pom</type><scope>import</scope></dependency></dependencies></dependencyManagement><build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.8.1</version><configuration><source>1.8</source><target>1.8</target><encoding>UTF-8</encoding></configuration></plugin><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><version>${spring-boot.version}</version><configuration><mainClass>com.test.sharding.ShardingJdbcTestApplication</mainClass><skip>true</skip></configuration><executions><execution><id>repackage</id><goals><goal>repackage</goal></goals></execution></executions></plugin></plugins></build></project>

这里需要特别注意SpringBoot、Sharding-jdbc和mybatis的版本，之前我使用的是最新的SpringBoot3.24版本，而Sharding-jdbc无论用啥版本都报错，显示无法找到url，驱动类。然后如果mybatis版本比较低的话，就会导致使用@Autowired无法自动注入，找不到对应的Bean。

因此，最好的解决方式就是使用SpringBoot的2.x版本，Jdk1.8即可。

2.2 application.yml配置


server:port: 8080mybatis:#mapper文件存放位置mapper-locations: classpath:/mapper/*.xml# 实体类的存放地址type-aliases-package: com.test.sharding.domain.pojoconfiguration:# 是否开启驼峰 Ming == m_ingmap-underscore-to-camel-case: truespring:main:allow-bean-definition-overriding: trueapplication:name: sharding-jdbc-testshardingsphere:props:sql:show: truedatasource:names: db1db1:type: com.alibaba.druid.pool.DruidDataSource#mysql驱动driver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://localhost:3306/sharding-jdbc-test?useUnicode=true&characterEncoding=utf8&useSSL=falseusername: rootpassword: rootsharding:tables:#scs_product可以任意命名，sql中一致，为了方便理解，这里一般写分表共有的# 比如我的scs_product_1  和 scs_product_2  那就写scs_product好区分# 当执行sql中出现scs_product，sharding-jdbc会将其操作到对应的表scs_product:actual-data-nodes: db1.scs_product_$->{1..2}# 指定主键生成策略为雪花id,全局主键key-generator:column: PRODUCT_IDtype: SNOWFLAKE#指定scs_product表的分片策略，  分片键和分片算法 用于计算真正的表名table-strategy:inline:# 偶数进到scs_product_1  奇数进到scs_product_2# 对于根据分片字段为条件的，会先判断是否涉及两张表，# 如何是两张表则会两个表都查，如果只涉及单表，则只查询一张表。algorithm-expression: scs_product_$->{PRODUCT_ID % 2 + 1}# 指定分片键为PRODUCT_IDsharding-column: PRODUCT_ID

2.3 dao层

ShardingMapper.java

@Mapper
public interface ShardingMapper {void insertProduct(@Param("scsProduct") ScsProduct scsProduct);List<ScsProduct> selectProduct();//根据id列表查询商品List<ScsProduct> selectProductByIds(@Param("ids") List<Long> ids);
}

2.4 对应的mybatis的xml文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.test.sharding.dao.ShardingMapper"><resultMap id="BaseResultMap" type="com.test.sharding.domain.pojo.ScsProduct"><!--@mbg.generated--><id column="PRODUCT_ID" jdbcType="BIGINT" property="productId" /><result column="PRODUCT_CODE" jdbcType="VARCHAR" property="productCode" /><result column="PRODUCT_NAME" jdbcType="VARCHAR" property="productName" /><result column="PRODUCT_AMOUNT" jdbcType="INTEGER" property="productAmount" /></resultMap><insert id="insertProduct" parameterType="com.test.sharding.domain.pojo.ScsProduct">insert into scs_product (PRODUCT_CODE, PRODUCT_NAME, PRODUCT_AMOUNT)values (#{scsProduct.productCode, jdbcType=VARCHAR}, #{scsProduct.productName, jdbcType=VARCHAR}, #{scsProduct.productAmount, jdbcType=INTEGER})</insert><select id="selectProduct" resultMap="BaseResultMap">select PRODUCT_ID, PRODUCT_CODE, PRODUCT_NAME, PRODUCT_AMOUNTfrom scs_product
<!--    where PRODUCT_CODE = 'SHARDING-JDBC166' --><!--此时的真是查询sql是两个表都查-->
<!--    PRODUCT_ID in (979716175636201483,979716175636201481) 因为都是奇数，则只查询 scs_product_2--><!-- PRODUCT_ID = 979716175636201483  此时会触发分片机制，根据主键字段分片查询对应的表 scs_product_2-->
<!--    PRODUCT_ID in (979716175636201483,979716175636201481,979716185538953216,979716184402296836)-->
<!--    order by PRODUCT_AMOUNT desc--><!-- 对于根据分片字段为条件的，会先判断是否涉及两张表，如何是两张表则会两个表都查，如果只涉及单表，则只查询一张表--></select><select id="selectProductByIds" resultMap="BaseResultMap" resultType="com.test.sharding.domain.pojo.ScsProduct">select PRODUCT_ID, PRODUCT_CODE, PRODUCT_NAME, PRODUCT_AMOUNTfrom scs_productwhere PRODUCT_ID in<foreach collection="ids" item="item" index="index" open="(" separator="," close=")">#{item}</foreach></select>
</mapper>

2.5 Service层

ShardingService.java

public interface ShardingService {void insertProduct(ScsProduct scsProduct);List<ScsProduct> queryProduct();PageInfo<ScsProduct> queryProductPage();List<ScsProduct> queryProductByIds(List<Long> ids);
}

ShardingServiceImpl.java

@Service
public class ShardingServiceImpl implements ShardingService {@Resourceprivate ShardingMapper shardingMapper;@Override@Async(value = "taskThread")
//    @Transactional(rollbackFor = {TRANSACTION_REQUIRED.class})public void insertProduct(ScsProduct scsProduct) {scsProduct.setProductName("小商品系列-sharding-jdbc"+Thread.currentThread().getName());shardingMapper.insertProduct(scsProduct);}@Overridepublic List<ScsProduct> queryProduct() {return shardingMapper.selectProduct();}@Overridepublic PageInfo<ScsProduct> queryProductPage() {Integer pageIndex = 1;Integer pageSize = 15;PageHelper.startPage(pageIndex,pageSize);List<ScsProduct> scsProductList = shardingMapper.selectProduct();return new PageInfo<>(scsProductList);}@Overridepublic List<ScsProduct> queryProductByIds(List<Long> ids) {return shardingMapper.selectProductByIds(ids);}
}

2.6 pojo

package com.test.sharding.domain.pojo;import lombok.Data;import java.math.BigInteger;@Data
public class ScsProduct {/*** 商品主键id*/private Long productId;/*** 商品编码*/private String productCode;/*** 商品名称*/private String productName;/*** 商品库存*/private Integer productAmount;
}

2.7 controller

@RestController
@RequestMapping("/shardingJdbcController")
@Slf4j
public class ShardingJdbcController {@Resourceprivate ShardingService shardingService;@PostMapping("/insertProduct")@CrossOriginpublic String insertProduct(){ScsProduct scsProduct = new ScsProduct();for(int i = 1 ; i < 10 ; i++){scsProduct.setProductAmount(i);scsProduct.setProductCode("SHARDING-JDBC"+i);shardingService.insertProduct(scsProduct);try {Thread.sleep(10);} catch (InterruptedException e) {throw new RuntimeException(e);}}return "插入成功！";}@PostMapping("/queryProduct")@CrossOriginpublic List<ScsProduct> queryProduct(){return shardingService.queryProduct();}@PostMapping("/queryProductPage")@CrossOriginpublic PageInfo<ScsProduct> queryProductPage(){return shardingService.queryProductPage();}
}

2.8 多线程配置

@Configuration
@EnableAsync
public class ThreadPoolConfig {@Bean(value = "taskThread")public ThreadPoolTaskExecutor taskThread(){ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();executor.setCorePoolSize(12);executor.setMaxPoolSize(100);executor.setQueueCapacity(100);executor.setThreadNamePrefix("taskExecutor-product");
//        executor.setKeepAliveSeconds(1000);executor.initialize();return executor;}
}

这篇关于SpringBoot集成Sharding-jdbc（水平分表）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/920472。

相关文章

JVM 的类初始化机制

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时，有没有考虑过 JVM 是如何把静态的字节码（byte code）转化为运行时对象的呢，这个问题看似简单，但清楚的同学相信也不会太多，这篇文章首先介绍 JVM 类初始化的机制，然后给出几个易出错的实例来分析，帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段，分别是：loading 、Linking、initialization
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
Spring Security--Architecture Overview

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类，它们之间的依赖，构建起了整个框架。想要理解整个架构，最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文（security context）的信息。当前操作的用户是谁，该用户是否已经被认证，他拥有哪些角色权限…这些都被保
阅读更多...
Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
Java进阶13讲__第12讲_1/2

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
在cscode中通过maven创建java项目

在cscode中通过maven创建java项目

在cscode中创建java项目 可以通过博客完成maven的导入 建立maven项目 使用快捷键 Ctrl + Shift + P 建立一个 Maven 项目 1 Ctrl + Shift + P 打开输入框2 输入 "> java create"3 选择 maven4 选择 No Archetype5 输入 域名6 输入项目名称7 建立一个文件目录存放项目，文件名一般为项目名8 确定
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2