mysql数据业务垂直+水平分割+主从复制读写分离

本文主要是介绍mysql数据业务垂直+水平分割+主从复制读写分离,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、拓扑图:

   垂直+水平分割+主从复制+读写分离完整原理图:

仅说明原理,详细拓扑及参数参考本次实验拓扑图

mysql数据业务垂直+水平分割+主从复制读写分离 - tuchengju - tuchengju的博客

   本次试验拓扑图:(上图左侧部分)


mysql数据业务垂直+水平分割+主从复制读写分离 - tuchengju - tuchengju的博客二、实验描述:

   根据业务原型先进行数据库垂直切割,然后用户数据根据user_id取模360进行水平切割,DB1和DB2创建相同的表结构。0-179存储到DB1,179-359存储到DB2上,其他博客、空间的那个放在其它数据库上,本次只做用户数据。DB1、DB2都采用主从读写分离架构,实现数据冗余和性能优化,实现较大用户承载量。

   DB1-master: 10.0.8.18/16        插入记录user_id % 360 <=179
   DB1-slave: 10.0.8.28/16
   DB1-amoeba: 10.0.8.38/16
   DB2-master: 10.0.8.48/16        插入记录user_id % 360 >170
   DB2-slave: 10.0.8.58/16
   DB2-amoeba: 10.0.8.68/16
   split-amoeba: 10.0.8.78/16
  注意:所有机器关闭selinux和iptables

三、实验过程:
1.环境搭建
1.1DB1和DB2的master、slave都安装mysql5.1.50
创建mysql目录并授权
#useradd -s /sbin/nologin -M mysql
#mkdir -p /data/dbdata
#mkdir -p /usr/local/mysql/tmp/ 
#chown -R mysql:mysql /usr/local/services/mysql
#chown -R mysql:mysql /data/dbdata
#chown -R mysql:mysql /usr/local/mysql
编译安装mysql源码包
#tar xvf mysql-5.1.50.tar.gz
#cd mysql-5.1.50
#./configure '--prefix=/usr/local/services/mysql''--localstatedir=/data/dbdata''--with-unix-socket-path=/usr/local/mysql/tmp/mysql.sock' '--with-charset=utf8''--with-extra-charsets=complex' '--with-pthread' '--enable-thread-safe-client''--with-ssl' '--with-client-ldflags=-all-static' '--with-mysqld-ldflags=-all-static''--with-plugins=partition,federated,ndbcluster,innobase,csv,blackhole,myisam,innodb_plugin,heap,archive''--enable-shared' '--enable-assembler'
# make && make install
初始化mysql
#/usr/local/services/mysql/bin/mysql_install_db --user=mysql--basedir=/usr/local/services/mysql --datadir=/data/dbdata
# cp /usr/local/services/mysql/share/mysql/mysql.server /etc/init.d/mysqld
# chmod 755 /etc/init.d/mysqld
# vim /etc/init.d/mysqld 修改mysql启动脚本,设置数据库目录和安装目录
basedir=/usr/local/services/mysql
datadir=/data/dbdata
修改mysql配置文件
#vim /etc/my.cnf
配置文件在附件中给出,直接覆盖/etc/my.cnf

innodb_buffer_pool_size = 8G

根据服务器内存修改,否者起不来


设置环境变量和启动服务
#vim /etc/profile 修改profile文件,将mysql脚本路径添加到环境变量中去
MYSQL=/usr/local/services/mysql/bin
PATH=$PATH:$MYSQL
export PATH
#source /etc/profile 使环境变量设置生效
#/etc/init.d/mysqld start 启动服务
1.2三台amoeba服务器都安装jdk1.7.1_40和amoeba
解压jdk文件
# mkdir /java
# tar -xvf jdk-7u40-linux-x64.tar.gz -C /java
将jdk路径写到环境变量中去
# vim /etc/profile
JAVA_HOME=/java/jdk1.7.0_40
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
export CLASSPATH 
#source /etc/profile
测试是否已经有JAVA环境
# java -version
java version "1.7.0_40"
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode) 
安装Amoeba
# unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba/
# chmod -R +x /usr/local/amoeba/bin/
安装mysql客户端
#yum install mysql -y
2.配置主从复制读写分离架构
 2.1在两台master上操作:
修改配置文件my.cnf
#vim /etc/my.cnf
首先将bin-log日志打开
log-bin=mysql-bin
其次将server-id设置为1,默认为1
server-id=1
将log-slave-updates给关闭掉,默认为关闭
修改后重启服务
#/etc/init.d/mysqld restart
登陆数据库,创建主从复制读写分离用户并授权
#mysql 
安装好后默认以root账户登录,没有密码,登陆之后用set password=password('密码')修改,也可以用mysqladmin -uroot-p password '密码'修改
>create user 'amoeba'@'%' identified by 'amoeba'; 创建amoeba用户,密码为amoeba
>grant all privileges on *.* to 'amoeba'@'%' identified by 'amoeba'; 给amoeba用户授予整个数据库完整权限针对所有ip开放。
>grant replication slave on *.* to 'amoeba'@'10.0.8.28' identified by'amoeba'; 给slave服务器授予整个数据库复制权限,IP为从服务器IP
>flush privileges; 刷新权限
>show master status \G; 查看master状态,二进制日志文件名和postion值用于slave服务器配置

mysql数据业务垂直+水平分割+主从复制读写分离 - tuchengju - tuchengju的博客
 2.2在两台slave服务器上操作
修改配置文件my.cnf
首先将bin-log日志打开
其次将server-id设置为2
去掉log-slave-updates前的#
修改好后重启服务
#/etc/init.d/mysqld restart
登陆数据库,创建主从复制读写分离用户并授权
#mysql 
安装好后默认以root账户登录,没有密码,登陆之后用set password=password('密码')修改,也可以用mysqladmin -uroot-p password '密码'修改
>create user 'amoeba'@'%' identified by 'amoeba'; 创建amoeba用户,密码为amoeba
>grant all privileges on *.* to 'amoeba'@'%' identified by 'amoeba'; 给amoeba用户授予整个数据库完整权限针对所有ip开放。
>flush privileges; 刷新权限
>stop slave;
>change master tomaster_host='10.0.8.18',master_user='amoeba',master_password='amoeba',master_log_file='mysql-bin.0000005',master_log_pos=4043;
>start slave;
>show slave status\G; 查看slave状态,IO线程和SQL线程状态都为yes则表示主从复制已经开启成功
主从复制测试
在master上创建一个库为amoeba
>create database amoeba;
在slave上会自动生成一个amoeba库
2.3在两台amoeba读写分离调度器上操作
修改amoeba配置文件amoeba.xml,从上至下
#vim /usr/local/amoeba/conf/amoeba.xml
①修改第一部分本机mysql登陆配置:
================================================
       <!-- proxy server绑定的端口 -->
       <property name="port">8066</property>
       <!-- proxy server绑定的IP -->
<property name="ipAddress">10.0.8.38</property> #另一台为10.0.8.68
       <!-- proxy server net IO Read thread size -->
       <property name="readThreadPoolSize">20</property>
       <!-- proxy server client process thread size -->
       <property name="clientSideThreadPoolSize">30</property>
       <!-- mysql server data packet process thread size -->
       <property name="serverSideThreadPoolSize">30</property>
       <!-- socket Send and receive BufferSize(unit:K) -->
       <property name="netBufferSize">128</property>
       <!-- Enable/disable TCP_NODELAY (disable/enable Nagle's algorithm). -->
       <property name="tcpNoDelay">true</property>
       <!-- 对外验证的用户名 -->
       <property name="user">root</property>
       <!-- 对外验证的密码 -->
       <property name="password">aixocm</property> #这里的密码可以任意指定,用来进行读写分离登陆
================================================== 
②修改第二部分:amoeba登陆主从服务器配置
================================================== 
   <dbServer name="server1">
       <!-- PoolableObjectFactory实现类 -->
       <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
           <property name="manager">defaultManager</property>
           <!-- 真实mysql数据库端口 -->
           <property name="port">3306</property>
           <!-- 真实mysql数据库IP -->
           <property name="ipAddress">10.0.8.18</property> #另一台amoeba上为10.0.8.48
           <!--这里的test依赖数据库中的test库-->
           <property name="schema">test</property>
           <!-- 用于登陆mysql的用户名 -->
           <property name="user">amoeba</property>
           <!-- 用于登陆mysql的密码 -->
           <property name="password">amoeba</property>
           </factoryConfig>
       <!-- ObjectPool实现类 -->
       <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
       <property name="maxActive">200</property>
       <property name="maxIdle">200</property>
       <property name="minIdle">10</property>
       <propertyname="minEvictableIdleTimeMillis">600000</property>
       <property name="timeBetweenEvictionRunsMillis">600000</property>
       <property name="testOnBorrow">true</property>
       <property name="testWhileIdle">true</property>
       </poolConfig>
   </dbServer> 
   <dbServer name="server2">
       <!-- PoolableObjectFactory实现类 -->
       <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
           <property name="manager">defaultManager</property>
           <!-- 真实mysql数据库端口 -->
           <property name="port">3306</property>
           <!-- 真实mysql数据库IP -->
           <property name="ipAddress">10.0.8.28</property> #另一台amoeba上为10.0.8.58
           <!--这里的test依赖数据库中的test库-->
           <property name="schema">test</property>
           <!-- 用于登陆mysql的用户名 -->
           <property name="user">amoeba</property>
           <!-- 用于登陆mysql的密码 -->
           <property name="password">amoeba</property>
       </factoryConfig>
       <!-- ObjectPool实现类 -->
       <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
           <property name="maxActive">200</property>
           <property name="maxIdle">200</property>
           <property name="minIdle">10</property>
           <propertyname="minEvictableIdleTimeMillis">600000</property>
           <property name="timeBetweenEvictionRunsMillis">600000</property>
           <property name="testOnBorrow">true</property>
           <property name="testWhileIdle">true</property>
       </poolConfig>
   </dbServer>
=====================================================
③修改的第三部分:负载均衡池
=====================================================
<dbServer name="master" virtual="true">
       <poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool">
           <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
           <property name="loadbalance">1</property>
           <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
           <property name="poolNames">server1</property>
       </poolConfig>
   </dbServer>
<dbServer name="slave" virtual="true">
       <poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool">
           <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
           <property name="loadbalance">1</property>
           <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
<propertyname="poolNames">server1,server2</property>
       </poolConfig>
   </dbServer>
读主从的比例默认为1:1,可以进行读权重配置,如server1,server2,server2,server2,server2,这样读4次从服务器,
读一次主服务器,只写主服务器。读主从的比例为变为1:4。
======================================================= 
④修改的第四部分: 配置master和slave的读写分离
=======================================================
   <queryRouterclass="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
       <propertyname="ruleConfig">${amoeba.home}/conf/rule.xml</property>
       <propertyname="functionConfig">${amoeba.home}/conf/functionMap.xml</property>
   <propertyname="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>
       <property name="LRUMapSize">1500</property>
       <!-- 配置master和slave读写分离 Begin-->
       <property name="defaultPool">master</property>
       <property name="writePool">master</property>
       <property name="readPool">slave</property>
       <!-- 配置master和slave读写分离 End-->
       <property name="needParse">true</property>
       </queryRouter> 
=======================================================
修改Amoeba启动脚本
# vim /usr/local/amoeba/bin/amoeba
#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k" 将此行注释掉,增加一下行
DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k" 增加这一行
运行amoeba脚本
#cd /usr/local/amoeba/bin
#nohup bash -x amoeba & 后台运行amoeba并且记录日志到nohup.out
测试读写分离
在两台master上的amoeba库下创建一个amo表
>use amoeba;
>create table amo(
>user_id int not null unique,
>user_name varchar(45),
>user_address varchar(100),
>primary key(user_id)
>)engine=innodb;
在master和slave上分别插入一条不同记录
master端: >insert into amo(user_id,user_name,user_address)values(1,'master','china');
slave端: >insert into amo(user_id,user_name,user_address)values(2,'slave','china');
在amoeba上进行读写测试
select * from amo 会看到先后两次不同的记录
inset into amo(user_id,user_name,user_address) values(3,'amoeba','china'); 会写到master上然后同步到slave上
3.数据库切割
在amoeba切分器上操作
1.修改配置文件amoeba.xml,从上至下
#vim /usr/local/amoeba/conf/amoeba.xml
①修改的第一部分:本机mysql登陆配置
==============================================================
       <!-- proxy server绑定的端口 -->
       <property name="port">8066</property>
       <!-- proxy server绑定的IP -->
       <property name="ipAddress">10.0.8.78</property> 
       <!-- proxy server net IO Read thread size -->
       <property name="readThreadPoolSize">20</property>
       <!-- proxy server client process thread size -->
       <property name="clientSideThreadPoolSize">30</property>
       <!-- mysql server data packet process thread size -->
       <property name="serverSideThreadPoolSize">30</property>
       <!-- socket Send and receive BufferSize(unit:K) -->
       <property name="netBufferSize">128</property>
       <!-- Enable/disable TCP_NODELAY (disable/enable Nagle's algorithm). -->
       <property name="tcpNoDelay">true</property>
       <!-- 对外验证的用户名 -->
       <property name="user">root</property>
       <!-- 对外验证的密码 -->
       <property name="password">aixocm</property> #这里的密码可以任意指定,用来进行读写分离登陆最好统一
=============================================================
②修改的第二部分:amoeba读写分离调度器配置
=============================================================
   <dbServer name="server1">
       <!-- PoolableObjectFactory实现类 -->
       <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
           <property name="manager">defaultManager</property>
           <!-- 真实mysql数据库端口 -->
<property name="port">8066</property> #这里要填写amoeba1配置文件第一部分的端口号,因为ip不同,所以不冲突
           <!-- 真实mysql数据库IP -->
           <property name="ipAddress">10.0.8.38</property>
           <!--这里的test依赖数据库中的test库-->
           <property name="schema">test</property>
           <!-- 用于登陆mysql的用户名 -->
           <property name="user">root</property> #这里要填写amoeba1配置文件第一部分配置的用户和密码
           <!-- 用于登陆mysql的密码 -->
           <property name="password">aixocm</property>
       </factoryConfig>
       <!-- ObjectPool实现类 -->
           <poolConfigclass="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
               <property name="maxActive">200</property>
               <property name="maxIdle">200</property>
               <property name="minIdle">10</property>
               <property name="minEvictableIdleTimeMillis">600000</property>
               <propertyname="timeBetweenEvictionRunsMillis">600000</property>
               <property name="testOnBorrow">true</property>
               <property name="testWhileIdle">true</property>
           </poolConfig>
       </dbServer> 
     <dbServer name="server2">
       <!-- PoolableObjectFactory实现类 -->
       <factoryConfigclass="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
       <property name="manager">defaultManager</property>
       <!-- 真实mysql数据库端口 -->
<property name="port">8066</property>
       <!-- 真实mysql数据库IP -->
       <property name="ipAddress">10.0.8.68</property>
       <!--这里的test依赖数据库中的test库-->
       <property name="schema">test</property>
       <!-- 用于登陆mysql的用户名 -->
       <property name="user">amoeba</property>
       <!-- 用于登陆mysql的密码 -->
<property name="password">amoeba</property>
    </factoryConfig>
    <!-- ObjectPool实现类 -->
        <poolConfigclass="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
           <property name="maxActive">200</property>
           <property name="maxIdle">200</property>
           <property name="minIdle">10</property>
           <property name="minEvictableIdleTimeMillis">600000</property>
           <propertyname="timeBetweenEvictionRunsMillis">600000</property>
           <property name="testOnBorrow">true</property>
           <property name="testWhileIdle">true</property>
       </poolConfig>
   </dbServer> 
================================================================
③修改的第三部分:去掉负载均衡池,或者注释掉
================================================================
   <!-- <dbServer name="multipool" virtual="true">
   <poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool">
   <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
   <property name="loadbalance">1</property>
   <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
   <property name="poolNames">server1</property>
   </poolConfig>
   </dbServer> 
   -->
=================================================================
2.修改切割规则配置文件
#vim /usr/local/amoeba/conf/rule.xml
<tableRule name="amo" schema="amoeba"defaultPools="server1,server2">

name后为表名,schema后为库名
mysql数据业务垂直+水平分割+主从复制读写分离 - tuchengju - tuchengju的博客


如上图user_id % 360 0到179的记录插入DB1-master,user_id % 360 在180到359的记录插入到DB2-master中
3.修改amoeba启动脚本
# vim /usr/local/amoeba/bin/amoeba
#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k" 将此行注释掉,增加一下行
DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k" 增加这一行
4.启动amoeba
#nohup bash -x /usr/local/amoeba/bin/amoeba &
5.数据切割测试
amoeba切分器端操作
>use amoeba;
主语要采用标准插入语句
>insert into amo(user_id,uesr_name,user_address) values(177,'user','china');
>insert into amo(user_id,uesr_name,user_address) values(178,'user','china');
>insert into amo(user_id,uesr_name,user_address) values(179,'user','china');
>insert into amo(user_id,uesr_name,user_address) values(180,'user','china');
>insert into amo(user_id,uesr_name,user_address) values(181,'user','china');
>insert into amo(user_id,uesr_name,user_address) values(182,'user','china');
>insert into amo(user_id,uesr_name,user_address) values(359,'user','china');
>insert into amo(user_id,uesr_name,user_address) values(360,'user','china');
master、slave端查看效果,看是否切分成功
6.读写分离测试
在两台slave端分别插入一条记录
然后在amoeba切分器上用select语句查看效果,两次运行select语句结果分别是两台slave的记录和两台master的记录


amoeba切分器进行数据切割时,调用amoeba读写分离服务器进行读写分离,所以amoeba切分器中的server1和server2分别指定的是
amoeba1和amoeba2的ip和8066端口,而不是DB1和DB2的IP登录用户也是amoeba1和amoeba2配置文件第一部分配置的用户和密码
真实生产环境下,amoeba切割器可以用软件实现,利用软件进行切割

这篇关于mysql数据业务垂直+水平分割+主从复制读写分离的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/932987

相关文章

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后,有时候会需要自动创建分区。比如,一些表数据量非常大,有些数据是热点数据,按照日期分区MululbU

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MySQL中查找重复值的实现

《MySQL中查找重复值的实现》查找重复值是一项常见需求,比如在数据清理、数据分析、数据质量检查等场景下,我们常常需要找出表中某列或多列的重复值,具有一定的参考价值,感兴趣的可以了解一下... 目录技术背景实现步骤方法一:使用GROUP BY和HAVING子句方法二:仅返回重复值方法三:返回完整记录方法四:

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满

MySQL查询JSON数组字段包含特定字符串的方法

《MySQL查询JSON数组字段包含特定字符串的方法》在MySQL数据库中,当某个字段存储的是JSON数组,需要查询数组中包含特定字符串的记录时传统的LIKE语句无法直接使用,下面小编就为大家介绍两种... 目录问题背景解决方案对比1. 精确匹配方案(推荐)2. 模糊匹配方案参数化查询示例使用场景建议性能优

mysql表操作与查询功能详解

《mysql表操作与查询功能详解》本文系统讲解MySQL表操作与查询,涵盖创建、修改、复制表语法,基本查询结构及WHERE、GROUPBY等子句,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随... 目录01.表的操作1.1表操作概览1.2创建表1.3修改表1.4复制表02.基本查询操作2.1 SE