Apache ShardingSphere 在转转亿级交易系统落地实践

2023-11-23 05:18

本文主要是介绍Apache ShardingSphere 在转转亿级交易系统落地实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

、背景与挑战

这几年随着转转二手业务的快速发展,订单系统的基础性能问题也愈发严重,作为系统运转的基石,订单库压力不容小觑。

面临的问题:

  • 大促期间 DB 压力大,单库查询 qps 上万占用大量数据库资源,写性能大大降低;

  • 数据与日剧增,单库中包含非常多数据量过数亿的大表,占用空间接近服务器的容量上限;

  • 数据量太大,数据备份和恢复需要耗费很长时间,极端情况下丢失数据的风险越高。

二、为什么选 ShardingSphere

迫于上述所说的 DB 压力问题,起初我们做了一些缓解措施,其中包括:

  • 优化大事务,缩小事务范围,甚至消除事务

33da38dedfbae0b0e88ae19eff0a6d3f.png

通过调整原有业务逻辑顺序将核心的生单步骤放置在最后,仅在订单主表保持事务,主表操作异常时其他订单相关的表允许有脏数据产生。

  • 订单数据添加缓存

1fb41391173d061802af41bee2c02dec.png

缓存这块最重要同时最麻烦的地方是保证数据的一致性,订单信息涉及结算抽佣等,数据的不实时或不一致会造成严重事故。

严格保证缓存数据的一致性,代码实现比较复杂同时会降低系统的并发,因此缓存方案实现这块我们做了一定的妥协:
  1. 允许数据缓存失败情况下请求直接查库;
  2. 给缓存 key 添加版本号,通过读最新版本号的数据确保数据的实时性。

  • 复杂查询走 ES、主从分离、一些大表进行冷热数据分离等

e03558f8022468c96e18e631a7715d68.png

通过上述几个方面的优化 DB 压力虽有所下降,但面对大促等一些高并发场景时仍显得力不从心。为了从根本上解决订单库的性能问题,我们决定对订单库进行数据分片(分库分表)改造,使得未来 3-5 年内不需要担心订单容量问题。

数据分片组件选型这块,我们从效率、稳定性、学习成本和时间多个方面对比,最终选择了 ShardingSphere。

ShardingSphere 优势如下:

  • 提供标准化的数据分片、分布式事务和数据库治理功能,可适用于如 Java 同构、异构语言、容器、云原生等各种多样化的应用场景;

  • 分片策略灵活,支持多种分片方式;

  • 集成方便、业务侵入程度低;

  • 文档丰富、社区活跃。

ShardingSphere 提出 DB Plus 的理念,采用可插拔的架构设计,模块相互独立,可以单独使用,亦可以灵活组合使用。目前 ShardingSphere 由 JDBC、Proxy 和 Sidecar(规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。

3 款产品特性对比如下:

6c86e547b158bb043bb4ae321e2a9cb0.png

通过上图对比,结合订单高并发特性,本次数据分片中间件选择了 ShardingSphere-JDBC。

ShardingSphere-JDBC 定位为轻量级 Java 框架,在 JDBC 层提供的额外服务。它使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。

0b1541b0256b5cfeab4541e585112b55.png

随着 5.x 版本的发布,ShardingSphere 还提供了许多新特性:

  1. 全新 distsql 用于加载及展示 shardingsphere 配置信息

  2. 支持跨不同数据库实例的分片 join sql 查询

  3. 增加数据网关能力,支持异构数据库存储

  4. 支持在线动态创建及修改用户权限

  5. 新增自动化探针模块

三、项目落地中的关键点

  • 分片 key 的选择

当前订单 id 的生成,采用了时间戳+用户标识码+机器码+递增序列的方式,其中用户标识码取自买家 id 的第 9~16 位,该码是用户 id 生成时的真随机位,很适合作为分片 key。

  • 选择该用户标识码作为分片 key 有如下优势:

    • 可以使分到各个库表的数据尽可能均匀;

    • 无论是以订单 id、还是以买家 id 作为查询条件,都可以快速定位到具体分片位置;

    • 同一买家的数据能分布到相同的库表,方便买家维度的聚合查询。

98b4a9582ff2ea29234c5765163b39e1.png

具体分片策略上:我们采用了 16 库 16 表,用户标识码取模分库,用户标识码高四位取模分表。

  • 新老库数据迁移

    • 迁移必须是在线的,不考虑停机迁移,迁移的过程中还会有数据的写入;

    • 数据应该是完整的,C 端体验是无感知的,迁移之后需要保证新库和旧库的数据是严格一致的;

    • 迁移过程中需要做到可以回滚,一旦迁移过程中出现问题,可以立即回滚到源库,不会对系统可用性造成影响。

  数据迁移步骤如下:双写->迁移历史数据->校验->老库下线。

四、效果&收益

  • 解决了单库容量上限问题;

  • 数据分片后单库表的数据量大大减少,单表数据量由原来的近亿降为百万级别,总体性能大大提高;

  • 降低了因单库、单表数据过大极端情况数据丢失风险,减轻运维压力。

以下是两次大促期间,下单服务接口调用量与接口耗时对比。

改造前:

c4b8f9e5e2bde4aea55e74eefaa439cd.png

改造后:

9dc439c149f30c50aadcbf8957a8ffc0.png

五、总结感悟

任何公司的“分库分表项目”说白了,都不是一个考验点子思路的常见项目,更多的反而是对一个人、一个团队干活的细致程度、上下游部门的沟通协作、工程化的操作实施以及抗压能力的综合考验。

同时业务的不断发展,又促使系统数据架构需要跟着不断升级,ShardingSphere 以其良好的架构设计、高度灵活、可插拔和可扩展的能力简化了数据分片的开发难度,使研发团队只需关注业务本身,进而实现了数据架构的灵活扩展。

附,最终技术方案目录:

2ae871a49e13982704ef60e60d45b0b1.png
作者简介

张强,转转交易中台研发工程师

这篇关于Apache ShardingSphere 在转转亿级交易系统落地实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/415609

相关文章

Spring WebFlux 与 WebClient 使用指南及最佳实践

《SpringWebFlux与WebClient使用指南及最佳实践》WebClient是SpringWebFlux模块提供的非阻塞、响应式HTTP客户端,基于ProjectReactor实现,... 目录Spring WebFlux 与 WebClient 使用指南1. WebClient 概述2. 核心依

MyBatis-Plus 中 nested() 与 and() 方法详解(最佳实践场景)

《MyBatis-Plus中nested()与and()方法详解(最佳实践场景)》在MyBatis-Plus的条件构造器中,nested()和and()都是用于构建复杂查询条件的关键方法,但... 目录MyBATis-Plus 中nested()与and()方法详解一、核心区别对比二、方法详解1.and()

Spring Boot @RestControllerAdvice全局异常处理最佳实践

《SpringBoot@RestControllerAdvice全局异常处理最佳实践》本文详解SpringBoot中通过@RestControllerAdvice实现全局异常处理,强调代码复用、统... 目录前言一、为什么要使用全局异常处理?二、核心注解解析1. @RestControllerAdvice2

Spring事务传播机制最佳实践

《Spring事务传播机制最佳实践》Spring的事务传播机制为我们提供了优雅的解决方案,本文将带您深入理解这一机制,掌握不同场景下的最佳实践,感兴趣的朋友一起看看吧... 目录1. 什么是事务传播行为2. Spring支持的七种事务传播行为2.1 REQUIRED(默认)2.2 SUPPORTS2

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.

MySQL 中 ROW_NUMBER() 函数最佳实践

《MySQL中ROW_NUMBER()函数最佳实践》MySQL中ROW_NUMBER()函数,作为窗口函数为每行分配唯一连续序号,区别于RANK()和DENSE_RANK(),特别适合分页、去重... 目录mysql 中 ROW_NUMBER() 函数详解一、基础语法二、核心特点三、典型应用场景1. 数据分

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

MySQL 用户创建与授权最佳实践

《MySQL用户创建与授权最佳实践》在MySQL中,用户管理和权限控制是数据库安全的重要组成部分,下面详细介绍如何在MySQL中创建用户并授予适当的权限,感兴趣的朋友跟随小编一起看看吧... 目录mysql 用户创建与授权详解一、MySQL用户管理基础1. 用户账户组成2. 查看现有用户二、创建用户1. 基

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源

springboot项目中整合高德地图的实践

《springboot项目中整合高德地图的实践》:本文主要介绍springboot项目中整合高德地图的实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一:高德开放平台的使用二:创建数据库(我是用的是mysql)三:Springboot所需的依赖(根据你的需求再