Mycat使用与部署

2024-05-12 04:58
文章标签 部署 使用 mycat

本文主要是介绍Mycat使用与部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Mycat使用与部署

  • 前言
  • 内容
    • 简介
    • 应用
    • 基本概念
    • 技术分析
      • 目录结构
      • 分片处理
        • 连续分片
        • 离散分片
        • 综合分片
      • 全局序列处理
  • 小结

前言

     今天和大家说说数据库中间件Mycat
在这里插入图片描述
     图片源自 Mycat官方网站 对于Mycat1.6版本的结构

内容

简介

      Mycat是目前活跃的开源数据库中间件,是一个彻底开源的面向企业应用开发的大数据库集群,它支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法.

应用

      在平时的项目中会用到Mycat来解决项目中MySQL数据库的如下三个主要问题

  •   数据库连接数
  •   表数据量大(空间)
    •   索引命不中全表扫描
    •   索引命中 存储在硬盘里IO操作
  •   硬件资源(QPS/TPS)

      主要用到的功能有读写分离和f分库分表
在这里插入图片描述

基本概念

      下面和大家说说在Mycat中的一些基本概念
示例图
      Mycat服务区域中-黄色标注的两个数据库是Mycat中定义的 逻辑库: db_user 与 db_store
      Mycat服务区域中-黄色标注的五个表是Mycat中定义的 逻辑表: 用户表\数据字典\用户地址表\门店\店员表
      MySQL服务区域中-两个紫色区域代表两台服务器
      MySQL服务区域中-两个db_user数据库是Mycat管理的拆分数据库
           分表条件是根据对用户表的UID对2取模, 不同条件可在Mycat-Conf文件下的rule.xml文件配置.
           数据字典表是两个库查询数据时常会连接的表单,由于数据量较小且为主要连表查询的信息所以在Mycat中配置为全局表.
           用户地址表的增删改查都与用户表的UID有着密切的联系.所以可以在Mycat中将其配置为ER表,关联条件就是外键—用户表的UID.
      MySQL服务区域中-两个db_store数据库是Mycat管理的主从数据库

技术分析

目录结构

目录结构
     

  • /bin 存放可执行文件./mycat {start|restart|stop|status…}
  • /conf 存放配置文件
    • server.xml -Mycat 服务器参数设置和用户授权的配置文件(启动参数)
<system><property name="useSqlStat">0</property><!-- 1为开启实时统计、0为关闭 --><property name="useGlobleTableCheck">0</property><!-- 1为开启全加班一致性检测、0为关闭 --><property name="sequnceHandlerType">2</property><!-- <property name="useCompression">1</property>--><!--1为开启mysql压缩协议--><!-- <property name="fakeMySQLVersion">5.6.20</property>--><!--设置模拟的MySQL版本号--><!-- <property name="processorBufferChunk">40960</property> --><!-- <property name="processors">1</property><property name="processorExecutor">32</property> --><!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena--><property name="processorBufferPoolType">0</property><!--默认是65535 64K 用于sql解析时最大文本长度 --><!--<property name="maxStringLiteralLength">65535</property>--><!--<property name="sequnceHandlerType">0</property>--><!--<property name="backSocketNoDelay">1</property>--><!--<property name="frontSocketNoDelay">1</property>--><!--<property name="processorExecutor">16</property>--><!--<property name="serverPort">8066</property> <property name="managerPort">9066</property><property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property><property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> --><!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志--><property name="handleDistributedTransactions">0</property><!--off heap for merge/order/group/limit 1开启 0关闭 --><property name="useOffHeapForMerge">1</property><!--单位为m --><property name="memoryPageSize">1m</property><!--单位为k --><property name="spillsFileBufferSize">1k</property><property name="useStreamOutput">0</property><!--单位为m --><property name="systemReserveMemorySize">384m</property><!--是否采用zookeeper协调切换 --><property name="useZKSwitch">true</property></system><!-- 全局SQL防火墙设置 --><!-- <firewall><whitehost><host host="127.0.0.1" user="mycat"/><host host="127.0.0.2" user="mycat"/></whitehost><blacklist check="false"></blacklist></firewall> --><user name="root"><property name="password">123456</property><property name="schemas">db_store,db_user</property><!-- 表级 DML 权限设置 --><!-- <privileges check="false"><schema name="db_user" dml="0110" ><table name="users" dml="1111"></table> IUSD<table name="useraddres" dml="1110"></table></schema></privileges> --></user>
  • schema.xml - 逻辑库和逻辑表的定义
 <schema sqlMaxLimit="100" checkSQLschema="false" name="db_store"><table name="store" primaryKey="storeID" dataNode="db_store_dataNode"/><table name="employee" primaryKey="employeeID" dataNode="db_store_dataNode"/></schema><schema sqlMaxLimit="100" checkSQLschema="false" name="db_user"><table name="data_dictionary" primaryKey="dataDictionaryID" dataNode="db_user_dataNode1,db_user_dataNode2" type="global"/><table name="users" primaryKey="userID" dataNode="db_user_dataNode$1-2" rule="mod-userID-long"><childTable name="user_address" primaryKey="addressID" parentKey="userID" joinKey="userID"/></table></schema><!-- 节点配置 --><!-- db_store --><dataNode name="db_store_dataNode" database="db_store" dataHost="db_storeHOST"/><!-- db_user --><dataNode name="db_user_dataNode1" database="db_user" dataHost="db_userHOST1"/><dataNode name="db_user_dataNode2" database="db_user" dataHost="db_userHOST2"/><!-- 节点主机配置 --><!-- 配置db_store的节点主机 --><dataHost name="db_storeHOST" slaveThreshold="100" switchType="1" dbDriver="native" dbType="mysql" writeType="0" balance="1" minCon="10" maxCon="1000"><heartbeat>select user()</heartbeat><!-- can have multi write hosts --><writeHost password="123456" user="root" url="192.168.8.137:3306" host="hostM1"><!-- can have multi read hosts --><readHost password="123456" user="root" url="192.168.8.101:3306" host="hostS1"/></writeHost></dataHost><!-- 配置db_user的节点主机 --><dataHost name="db_userHOST1" slaveThreshold="100" switchType="1" dbDriver="native" dbType="mysql" writeType="0" balance="0" minCon="10" maxCon="1000"><heartbeat>select user()</heartbeat><writeHost password="123456" user="root" url="192.168.8.137:3306" host="userHost1"> </writeHost></dataHost><dataHost name="db_userHOST2" slaveThreshold="100" switchType="1" dbDriver="native" dbType="mysql" writeType="0" balance="0" minCon="10" maxCon="1000"><heartbeat>select user()</heartbeat><!-- can have multi write hosts --><writeHost password="123456" user="root" url="192.168.8.101:3306" host="userHost2"> </writeHost></dataHost>
  • rule.xml - 分片规则的配置文件
 <?xml version="1.0" encoding="UTF-8"?><mycat:rule xmlns:mycat="http://io.mycat/"><tableRule name="rule1"><rule><columns>id</columns><algorithm>func1</algorithm></rule></tableRule><tableRule name="rule2"><rule><columns>user_id</columns><algorithm>func1</algorithm></rule></tableRule><tableRule name="sharding-by-intfile"><rule><columns>sharding_id</columns><algorithm>hash-int</algorithm></rule></tableRule><tableRule name="auto-sharding-long"><rule><columns>id</columns><algorithm>rang-long</algorithm></rule></tableRule><tableRule name="mod-long"><rule><columns>id</columns><algorithm>mod-long</algorithm></rule></tableRule><tableRule name="mod-userID-long"><rule><columns>userID</columns><algorithm>mod-long</algorithm></rule></tableRule><tableRule name="sharding-by-murmur"><rule><columns>id</columns><algorithm>murmur</algorithm></rule></tableRule><tableRule name="crc32slot"><rule><columns>id</columns><algorithm>crc32slot</algorithm></rule></tableRule><tableRule name="sharding-by-month"><rule><columns>create_time</columns><algorithm>partbymonth</algorithm></rule></tableRule><tableRule name="latest-month-calldate"><rule><columns>calldate</columns><algorithm>latestMonth</algorithm></rule></tableRule><tableRule name="auto-sharding-rang-mod"><rule><columns>id</columns><algorithm>rang-mod</algorithm></rule></tableRule><tableRule name="jch"><rule><columns>id</columns><algorithm>jump-consistent-hash</algorithm></rule></tableRule><function name="mod-long" class="io.mycat.route.function.PartitionByMod"><!-- how many data nodes --><property name="count">2</property></function><function name="murmur" class="io.myc+.....+tion.PartitionByMurmurHash"><property name="seed">0</property><!-- 默认是0 --><property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 --><property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 --><!-- <property name="weightMapFile">weightMapFile</property> 节点的权重，没有指定权重的节点默认是1。以properties文件的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 --><!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西 --></function><function name="crc32slot" class="io.m+.....+tion.PartitionByCRC32PreSlot"><property name="count">2</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 --></function><function name="hash-int" class="io.myc+....+ction.PartitionByFileMap"><property name="mapFile">partition-hash-int.txt</property></function><function name="rang-long" class="io.m+....+tion.AutoPartitionByLong"><property name="mapFile">autopartition-long.txt</property></function><function name="func1" class="io.mycat.route.function.PartitionByLong"><property name="partitionCount">8</property><property name="partitionLength">128</property></function><function name="latestMonth" class="io.m+....+tion.LatestMonthPartion"><property name="splitOneDay">24</property></function><function name="partbymonth" class="io.m+....+ction.PartitionByMonth"><property name="dateFormat">yyyy-MM-dd</property><property name="sBeginDate">2015-01-01</property></function><function name="rang-mod" class="io.m+....+ction.PartitionByRangeMod"><property name="mapFile">partition-range-mod.txt</property></function><function name="jump-consistent-has+..+.PartitionByJumpConsistentHash"><property name="totalBuckets">3</property></function></mycat:rule>
    • log4j2.xml - 配置logs目录日志输出规则
    • wrapper.conf - JVM相关参数设置

  • /lib - 主要存放 mycat 依赖的一些 jar 文件

  • /logs - 存放日志文件

分片处理

连续分片
  • 实例
          根据日期范围分片
          根据数字范围分片
  • 优点
          扩容无须迁移数据
          范围条件查询资源消耗少
  • 缺点
          数据热点问题
          并发能力受限于分片节点
离散分片
  • 实例
          枚举分片
          数字取模分片(如本文分析的Mycat部署例图)
          字符串Hash分片
  • 优点
          数据分布均匀
          并发能力强不受分片节点限制
  • 缺点
          移植性差-扩容难
综合分片

将连续分片与离散分片结合使用

  • 实例
          范围求模分片
          取模范围分片

全局序列处理

      由于我们通过Mycat对原有数据进行了分库分表的操作,那么对每条数据的全局唯一标识就是一个需要解决的问题,关于全局序列的处理Mycat为我们提供了以下三种方式:

  • 本地文件方式
          步骤
    sequenceHandlerType=0
    配置sequence_db_conf.properties
    使用next value for MYCATSEQ_XXX
          问题
    无法持久化,Mycat重启就会丢失

  • 数据库自动生成方式
          步骤
    sequenceHandlerType=1
    配置sequence_db_conf.properties
    使用next value for MYCATSEQ_XXX
    指定autoIncrement
          问题
    多线程,两个表之间会串号

  • 本地时间戳
          步骤
    ID=64位 二进制(42毫秒+5机器ID+5业务编码+12重复累加)
    sequenceHandlerType=2
    配置sequence_db_conf.properties
    指定autoIncrement

小结

      在项目应用中Mycat的管理还提供了-弱XA事务机制-节点扩缩容量-数据快速移植等功能的支持,以上是我对Mycat的整理笔记,还有很多需要完善,将与Mycat开发组一同前行学习,荣幸与您分享~

这篇关于Mycat使用与部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/981659。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
git使用的说明总结

git使用的说明总结

Git使用说明 下载安装(下载地址) macOS: Git - Downloading macOS Windows: Git - Downloading Windows Linux/Unix: Git (git-scm.com) 创建新仓库 本地创建新仓库：创建新文件夹，进入文件夹目录，执行指令 git init ，用以创建新的git 克隆仓库 执行指令用以创建一个本地仓库的
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2