Sharding-Proxy分库分表和数据加密

2024-05-24 08:18
文章标签 数据 加密 proxy 分库 分表 sharding

本文主要是介绍Sharding-Proxy分库分表和数据加密，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • Sharding-Proxy分库分表和数据加密
    • 使用场景
    • 配置文件讲解
      • server.yaml
      • config-sharding.yaml
      • config-encrypt.yaml
      • 其他
    • 使用情况
    • 总结

Sharding-Proxy分库分表和数据加密

主要将实际项目中使用shardingshpere-proxy的经历经验，总结分享一下。

使用场景

  • 公司规划研发了两款针对政务新媒体和数字乡村的SaaS平台，作为新的利润增长点。考虑到以后的用户数量和数据数量，决定按照租户（签约客户）进行分库分表。对于一些敏感数据，例如身份证号、手机号等，使用数据库级别的加密解密，不存储明文数据。
  • 考察了网上已有的一些数据库中间件和分库分表解决方案，公司决定使用Sharding-Proxy作为分库分表和数据加密的数据库中间件。主要原因是，它对代码的侵入性很小，开发人员也不需要关注它，减少了学习成本，对DBA也很友好。另一方面，ShardingSphere已进入Apache孵化器，它完全开源免费，社区也很活跃，版本迭代也很快。
  • 本次使用的ShardingSphere-5.0

配置文件讲解

server.yaml

  • resources文件夹，conf文件夹下面
  • 主要有注册中心配置、登录连接配置和基础配置
mode:type: Cluster  # 集群repository:type: ZooKeeper  # 使用zookeeperprops:namespace: governance_ds  server-lists: 192.168.1.100:2181retryIntervalMilliseconds: 50000timeToLiveSeconds: 60maxRetries: 3operationTimeoutMilliseconds: 50000overwrite: true
  • mode.type: Cluster使用集群配置，单个部署也可以设置为Cluster，没影响
  • mode.repository 配置存储方式，可以选择使用ZooKeeper
  • mode.overwrite，配置加载方式，本地配置是否覆盖配置中心配置。true是可覆盖，以本地为准，将本地配置同步到zookeeper；false则以zookeeper为准
  • 下面还有一些基础配置，是否打印SQL等，暂时可都是要默认

config-sharding.yaml

  • resources文件夹，conf文件夹下面
  • schemaName 数据库连接，数据库名称
  • dataSources 数据源
  • rules 规则
  • !SHARDING 分库分表规则
    • tables 表
    • actualDataNodes 实际对于库表
    • databaseStrategy 分库策略 none 不分库分表
    • defaultDatabaseStrategy 默认分库策略
    • defaultTableStrategy 默认分表策略
    • defaultKeyGenerateStrategy 默认主键策略
    • shardingAlgorithms 自定义分片算法
    • keyGenerators 主键生成策略

config-encrypt.yaml

  • resources文件夹，conf文件夹下面
  • schemaName 数据库连接，数据库名称
  • dataSources 数据源
  • rules 规则
  • !ENCRYPT 数据加密
    • encryptors 加密策略，可选择AES或MD5，在下面具体字段可选则加密策略
    • aes_encryptor，aes可以配置加盐
    • tables 表
      • columns 字段s
      • id_number 逻辑字段
      • plainColumn 原字段
      • cipherColumn 加密字段
      • encryptorName 加密策略
    • queryWithCipherColumn 查询时是否使用加密字段

其他

  • 可以下载源码或者下载程序看看，里面的功能，都有配置文件案例，是注释掉的，一款PostgreSQL的，一款MySQL的
  • 目前就使用这2个功能，其他功能暂时没研究，就不多说了
  • 实际使用时，分库分表和数据加密是一起使用的，所以只用了一个配置文件，都放在rules下面
  • 后面我会把我的配置文件贴上去

使用情况

  • 政务新媒体SaaS平台暂时只使用分库分表
  • 数字乡村SaaS平台，使用了分库分表和数据加密
  • 分库分表，主要做了基于租户分库，部分表，又根据某些业务字段做了分表
  • 分表策略，默认分8个表写法algorithm-expression: monitor_record_${media_id % 8}
  • 我们基于租户的哈希进行分库，但对于某些租户，又想指定数据库，这就需要自定义分库分表策略
  • 要求分库支持哈希和指定，写了自定义分库策略类，有一个静态map，解析执行SQL时，先从map里获取，获取不到，则根据哈希获取
  • 数据加密，主要是添加加密字段和对历史数据处理
  • 可以写一个静态方法，对已存在数据进行处理

总结

  • sharding-proxy对于按照租户分库分表，以及数据加密，是完全支持的，足够我们使用
  • 使用起来很简单，下载最新稳定版安装即可
  • 如果没有自定义分库分表策略要求，只使用已有的策略，那只需要修改配置文件部署即可
  • 如果需要自定义分库分表策略，也不复杂，写好类打包好，放入ext-lib下即可
  • 配置文件部分示例
schemaName: digital_villagedataSources:ds:url: jdbc:postgresql://192.168.1.xxx:5432/digital_village?currentSchema=public&serverTimezone=UTC&useSSL=falseusername: postgrespassword: xxxxxxconnectionTimeoutMilliseconds: 30000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 120minPoolSize: 1ds_0:url: jdbc:postgresql://192.168.1.xxx:5432/digital_village_0?currentSchema=public&serverTimezone=UTC&useSSL=falseusername: postgrespassword: xxxxxxconnectionTimeoutMilliseconds: 30000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 120minPoolSize: 1ds_1:url: jdbc:postgresql://192.168.1.xxx:5432/digital_village_1?currentSchema=public&serverTimezone=UTC&useSSL=falseusername: postgrespassword: xxxxxconnectionTimeoutMilliseconds: 30000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 120minPoolSize: 1rules:- !SHARDINGtables:# 需要分库的表，根据租户id分库cms_basic_info:actualDataNodes: ds_${0..3}.cms_basic_infocms_column:actualDataNodes: ds_${0..3}.cms_columncms_content:actualDataNodes: ds_${0..3}.cms_contentcms_content_text:actualDataNodes: ds_${0..3}.cms_content_textcms_menu_column_bind:actualDataNodes: ds_${0..3}.cms_menu_column_bindcms_message_board:actualDataNodes: ds_${0..3}.cms_message_board# 不需要分库分表的表，全部存储在 ds 数据源auth_cfg_catalog_data_permission:actualDataNodes: ds.auth_cfg_catalog_data_permissiondatabaseStrategy: none:auth_cfg_column_data_permission:actualDataNodes: ds.auth_cfg_column_data_permissiondatabaseStrategy:none:# 默认分库策略defaultDatabaseStrategy:standard:shardingColumn: customer_id  #分库字段shardingAlgorithmName:  customer_id_inline #分库规则:defaultTableStrategy:none:# 默认主键策略defaultKeyGenerateStrategy:column: idkeyGeneratorName: snowflake# 自定义分片算法shardingAlgorithms:customer_id_inline:type: CLASS_BASEDprops:strategy: standardalgorithmClassName: cn.lonsun.dv.DigitalVillageShardingAlgorithm# 主键生成策略keyGenerators:snowflake:type: SNOWFLAKEprops:worker-id: 123- !ENCRYPTencryptors:aes_encryptor:type: AESprops:aes-key-value: xxxwwaS213123SADmd5_encryptor:type: MD5tables:party_position:columns:mobile:plainColumn: mobilecipherColumn: mobile_cipherencryptorName: aes_encryptorvillage_population:columns:id_number:plainColumn: id_numbercipherColumn: id_number_cipherencryptorName: aes_encryptormobile:plainColumn: mobilecipherColumn: mobile_cipherencryptorName: aes_encryptorqueryWithCipherColumn: true

这篇关于Sharding-Proxy分库分表和数据加密的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/997862。

相关文章

【服务器运维】MySQL数据存储至数据盘

【服务器运维】MySQL数据存储至数据盘

查看磁盘及分区 [root@MySQL tmp]# fdisk -lDisk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical)
阅读更多...
SQL Server中，查询数据库中有多少个表，以及数据库其余类型数据统计查询

SQL Server中，查询数据库中有多少个表，以及数据库其余类型数据统计查询

sqlserver查询数据库中有多少个表 sql server 数表:select count(1) from sysobjects where xtype='U'数视图:select count(1) from sysobjects where xtype='V'数存储过程select count(1) from sysobjects where xtype='P' SE
阅读更多...
数据时代的数字企业

数据时代的数字企业

1.写在前面 讨论数据治理在数字企业中的影响和必要性，并介绍数据治理的核心内容和实践方法。作者强调了数据质量、数据安全、数据隐私和数据合规等方面是数据治理的核心内容，并介绍了具体的实践措施和案例分析。企业需要重视这些方面以实现数字化转型和业务增长。 数字化转型行业小伙伴可以加入我的星球，初衷成为各位数字化转型参考库，星球内容每周更新 个人工作经验资料全部放在这里，包含数据治理、数据要
阅读更多...
如何在Java中处理JSON数据？

如何在Java中处理JSON数据？

如何在Java中处理JSON数据？ 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将探讨在Java中如何处理JSON数据。JSON（JavaScript Object Notation）作为一种轻量级的数据交换格式，在现代应用程序中被广泛使用。Java通过多种库和API提供了处理JSON的能力，我们将深入了解其用法和最佳
阅读更多...
两个基因相关性CPTAC蛋白组数据

两个基因相关性CPTAC蛋白组数据

目录 蛋白数据下载 ①蛋白数据下载 1，TCGA-选择泛癌数据  2，TCGA-TCPA 3，CPTAC(非TCGA) ②蛋白相关性分析 1，数据整理 2，蛋白相关性分析 PCAS在线分析 蛋白数据下载 CPTAC蛋白组学数据库介绍及数据下载分析 – 王进的个人网站 (jingege.wang) ①蛋白数据下载 可以下载泛癌蛋白数据：UCSC Xena (xena
阅读更多...
Java实现MD5加密总结

Java实现MD5加密总结

Java实现MD5加密总结 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！ 1. 什么是MD5加密 MD5是一种常用的哈希算法，用于将任意长度的数据通过哈希运算转换为固定长度的数据串，通常为128位的二进制串，常用于对密码等敏感信息进行加密存储或传输。 2. Java实现MD5加密的方法 2.1 使用java.sec
阅读更多...
中国341城市生态系统服务价值数据集（2000-2020年）

中国341城市生态系统服务价值数据集（2000-2020年）

生态系统服务反映了人类直接或者间接从自然生态系统中获得的各种惠益，对支撑和维持人类生存和福祉起着重要基础作用。目前针对全国城市尺度的生态系统服务价值的长期评估还相对较少。我们在Xie等（2017）的静态生态系统服务当量因子表基础上，选取净初级生产力，降水量，生物迁移阻力，土壤侵蚀度和道路密度五个变量，对生态系统供给服务、调节服务、支持服务和文化服务共4大类和11小类的当量因子进行了时空调整，计算了
阅读更多...
【计算机网络篇】数据链路层（12）交换机式以太网___以太网交换机

【计算机网络篇】数据链路层（12）交换机式以太网___以太网交换机

文章目录 🍔交换式以太网🛸以太网交换机 🍔交换式以太网 仅使用交换机（不使用集线器）的以太网就是交换式以太网 🛸以太网交换机 以太网交换机本质上就是一个多接口的网桥： 交换机的每个接口考研连接计算机，也可以理解集线器或另一个交换机 当交换机的接口与计算机或交换机连接时，可以工作在全双工方式，并能在自身内部同时连通多对接口，使每一对相互通信的计算机都能像
阅读更多...
使用Jsoup抓取数据

使用Jsoup抓取数据

问题 最近公司的市场部分布了一个问题，到一个网站截取一下医院的数据。刚好我也被安排做。后来，我发现为何不用脚本去抓取呢？ 抓取的数据如下： Jsoup的使用实战代码 结构 Created with Raphaël 2.1.0 开始 创建线程池 jsoup读取网页 解析Element 写入sqlite 结束
阅读更多...
Excel实用技巧——二级下拉菜单、数据验证

Excel实用技巧——二级下拉菜单、数据验证

EXCEL系列文章目录   Excel系列文章是本人亲身经历职场之后萌发的想法，为什么Excel覆盖如此之广，几乎每个公司、学校、家庭都在使用，但是它深藏的宝藏功能却很少被人使用，PQ、BI这些功能同样适用于数据分析；并且在一些需要简单及时的数据分析项目前，Excel是完胜python、R、SPSS这些科学专业的软件的。因此决心开启Excel篇章。 数据分析为什么要学Excel Excel图表
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2