MySQL NDB Cluster 分布式架构搭建 自定义启动、重启和关闭集群Shell脚本

本文主要是介绍MySQL NDB Cluster 分布式架构搭建 自定义启动、重启和关闭集群Shell脚本,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

此次NDB Cluster使用三台虚拟机进行搭建,一台作为管理节点;而对于另外两台服务器,每一台都充当着数据节点和SQL节点的角色。注意不是MGR主从复制架构,而是分布式MySQL架构。

创建 /var/lib/mysql-cluster/config.ini Cluster全局配置文件

[NDBD DEFAULT]
NoOfReplicas =2
DataMemory = 512M
MaxNoOfExecutionThreads = 4
[NDB_MGMD]
NodeId=1
hostname =192.168.182.102
datadir =/var/lib/mysql-cluster
[NDBD]
NodeId =2
hostname =192.168.182.103
datadir =/usr/local/mysql-cluster/data
[NDBD]
NodeId =3
hostname =192.168.182.104
datadir =/usr/local/mysql-cluster/data
[mysqld]
NodeId =4
hostname =192.168.182.103
[mysqld]
NodeId =5
hostname =192.168.182.104

在管理节点中执行以下命令,初始化管理节点(注意mysql cluster路径是固定的,否则会报错)

/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial --ndb-nodeid=1

创建 /etc/my.cnf mysql配置文件

[mysqld]
basedir=/usr/local/mysql-cluster
datadir=/usr/local/mysql-cluster/data
socket=/usr/local/mysql-cluster/sock/mysql.sock
user=hadoop
symbolic-links=0
ndbcluster
ndb-connectstring=192.168.182.102
port=3306[mysql_cluster]
ndb-connectstring=192.168.182.102[ndbd]
ndb-connectstring=192.168.182.102[mysqld_safe]
log-error=/usr/local/mysql-cluster/logs/mysql.pid
pid-file=/usr/local/mysql-cluster/logs/error.log[mysql]
socket=/usr/local/mysql-cluster/sock/mysql.sock
#
## include all files from the config directory
##
#!includedir /etc/my.cnf.d

 在初始化mysqld之前,需要将data、logs、sock文件夹创建完毕,否则无法初始化

[hadoop@hadoop103 mysql-cluster]$ pwd
/usr/local/mysql-cluster
[hadoop@hadoop103 mysql-cluster]$ ls
bin  docs  include  lib  LICENSE  man  README  share  support-files
[hadoop@hadoop103 mysql-cluster]$ mkdir data
[hadoop@hadoop103 mysql-cluster]$ mkdir sock
[hadoop@hadoop103 mysql-cluster]$ mkdir logs

 初始化mysqld,同时没有对root账号设置密码

[hadoop@hadoop103 mysql-cluster]$ bin/mysqld --initialize-insecure --user=hadoop
2024-03-01T22:50:53.201408Z 0 [Warning] [MY-010139] [Server] Changed limits: max_open_files: 1024 (requested 8161)
2024-03-01T22:50:53.201412Z 0 [Warning] [MY-010142] [Server] Changed limits: table_open_cache: 431 (requested 4000)
2024-03-01T22:50:53.202613Z 0 [Warning] [MY-011070] [Server] 'Disabling symbolic links using --skip-symbolic-links (or equivalent) is the default. Consider not using this option as it' is deprecated and will be removed in a future release.
2024-03-01T22:50:53.202952Z 0 [System] [MY-013169] [Server] /usr/local/mysql-cluster/bin/mysqld (mysqld 8.0.36-cluster) initializing of server in progress as process 2947
2024-03-01T22:50:53.211541Z 1 [System] [MY-013576] [InnoDB] InnoDB initialization has started.
2024-03-01T22:50:53.873353Z 1 [System] [MY-013577] [InnoDB] InnoDB initialization has ended.
2024-03-01T22:50:54.189948Z 0 [System] [MY-010865] [NDB] '--initialize' -> ndbcluster plugin disabled
2024-03-01T22:50:55.344321Z 6 [Warning] [MY-010453] [Server] root@localhost is created with an empty password ! Please consider switching off the --initialize-insecure option.
[hadoop@hadoop103 mysql-cluster]$ sudo cp support-files/mysql.server /etc/init.d/mysqld
[hadoop@hadoop103 mysql-cluster]$ sudo chmod +x /etc/init.d/mysqld

再初始化初始化数据节点,注意此时初始化完毕会自动连接到管理节点

[hadoop@hadoop103 mysql-cluster]$ bin/ndbd --initial
2024-03-02 06:51:57 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 06:51:57 [ndbd] INFO     -- Angel allocated nodeid: 2

 集群目前连接情况

[hadoop@hadoop102 mysql-cluster]$ bin/ndb_mgm -e show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36, starting, Nodegroup: 0)
id=3 (not connected, accepting connect from 192.168.182.104)[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.182.102  (mysql-8.0.36 ndb-8.0.36)[mysqld(API)]	2 node(s)
id=4 (not connected, accepting connect from 192.168.182.103)
id=5 (not connected, accepting connect from 192.168.182.104)

注意SQL节点需要在数据节点全部启动后,才能开始启动,所以别着急启动mysqld

同时为了防止在之后停止mysqld的时候,出现rm: cannot remove '/var/lock/subsys/mysql': Permission denied报错,导致后续无法启动mysqld,需要修改该文件夹的权限

sudo chown -R hadoop:hadoop /var/lock/subsys

第三台服务器操作同第二台操作一致。在第三台服务器完成数据节点初始化之后,便可以启动两个SQL节点。整个集群启动成功后的连接情况如下

[hadoop@hadoop102 mysql-cluster]$ bin/ndb_mgm -e show
Connected to Management Server at: localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]	2 node(s)
id=2	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36, Nodegroup: 0, *)
id=3	@192.168.182.104  (mysql-8.0.36 ndb-8.0.36, Nodegroup: 0)[ndb_mgmd(MGM)]	1 node(s)
id=1	@192.168.182.102  (mysql-8.0.36 ndb-8.0.36)[mysqld(API)]	2 node(s)
id=4	@192.168.182.103  (mysql-8.0.36 ndb-8.0.36)
id=5	@192.168.182.104  (mysql-8.0.36 ndb-8.0.36)

为了测试集群是否能够正常存储数据,需要在SQL节点中设置MySQL远程连接配置。在这里我创建了一个名为hadoop的用户,并赋予全部操作权限

[hadoop@hadoop103 mysql-cluster]$ bin/mysql -urootmysql> CREATE USER 'hadoop'@'%' IDENTIFIED BY '123456';
Query OK, 0 rows affected (0.03 sec)mysql> GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' WITH GRANT OPTION;
Query OK, 0 rows affected (0.11 sec)mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

 在Navicat中测试连接情况

以下是自定义的集群启动Shell脚本 

#!/bin/bash/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --config-cache=FALSE --ndb-nodeid=1ssh hadoop103 /usr/local/mysql-cluster/bin/ndbd
ssh hadoop104 /usr/local/mysql-cluster/bin/ndbdPASSWORD=123456
echo $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld start'
echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld start'

以下是自定义的关闭集群Shell脚本

#!/bin/bash# 定义要查找的端口号
PORT=1186PASSWORD=123456
# 使用 lsof 命令查找占用指定端口的进程,并提取进程 ID
PID=$(echo $PASSWORD | sudo -S lsof -t -i:$PORT)# 检查是否找到了进程 ID
if [ -z "$PID" ]; thenecho "未找到占用端口 $PORT 的进程"
else# 使用 kill 命令终止进程/usr/local/mysql/mysql-cluster/bin/ndb_mgm -e shutdownecho $PASSWORD | sudo -S kill -9 $PIDecho "已终止进程 $PID"
fi# 使用 lsof 命令查找占用指定端口的进程,并提取进程 ID
PID=$(echo $PASSWORD | sudo lsof -t -i:$PORT)# 检查是否找到了进程 ID
if [ -z "$PID" ]; thenecho "未找到占用端口 $PORT 的进程, the cluster will start"echo $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld stop'echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld stop'
else# 使用 kill 命令终止进程echo $PASSWORD | sudo -S kill -9 $PIDecho "已终止进程 $PID"
fi

以下是自定义的集群重启Shell脚本(前提是hadoop102的root用户已经将ssh密钥分配给hadoop103和hadoop104的root用户,否则还需要输入密码;本机sudo不需要输入密码的前提是/etc/sudoers配置了该用户)

#!/bin/bash# 定义要查找的端口号
PORT=1186PASSWORD=123456
# 使用 lsof 命令查找占用指定端口的进程,并提取进程 ID
PID=$(echo $PASSWORD | sudo -S lsof -t -i:$PORT)# 检查是否找到了进程 ID
if [ -z "$PID" ]; thenecho "未找到占用端口 $PORT 的进程"
else# 使用 kill 命令终止进程/usr/local/mysql/mysql-cluster/bin/ndb_mgm -e shutdownecho $PASSWORD | sudo -S kill -9 $PIDecho "已终止进程 $PID"
fi# 使用 lsof 命令查找占用指定端口的进程,并提取进程 ID
PID=$(echo $PASSWORD | sudo lsof -t -i:$PORT)# 检查是否找到了进程 ID
if [ -z "$PID" ]; thenecho "未找到占用端口 $PORT 的进程, the cluster will start"/usr/local/mysql/mysql-cluster/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --config-cache=FALSE --ndb-nodeid=1ssh hadoop103 /usr/local/mysql-cluster/bin/ndbdssh hadoop104 /usr/local/mysql-cluster/bin/ndbdecho $PASSWORD | sudo -S ssh -t root@hadoop103 'service mysqld restart'echo $PASSWORD | sudo -S ssh -t root@hadoop104 'service mysqld restart'
else# 使用 kill 命令终止进程echo $PASSWORD | sudo -S kill -9 $PIDecho "已终止进程 $PID"
fi

以下是集群重启的日志与结果

[hadoop@hadoop102 mysql-cluster]$ ./restart.sh 
Connected to Management Server at: localhost:1186
3 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.
已终止进程 3123
未找到占用端口 1186 的进程, the cluster will start
MySQL Cluster Management Server mysql-8.0.36 ndb-8.0.36
2024-03-02 07:20:42 [MgmtSrvr] INFO     -- Skipping check of config directory since config cache is disabled.
2024-03-02 07:20:42 [MgmtSrvr] WARNING  -- at line 4: [DB] IndexMemory is deprecated, will use Number bytes on each ndbd(DB) node allocated for storing indexes instead
2024-03-02 07:20:42 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 07:20:42 [ndbd] INFO     -- Angel allocated nodeid: 2
2024-03-02 07:20:42 [ndbd] INFO     -- Angel connected to '192.168.182.102:1186'
2024-03-02 07:20:42 [ndbd] INFO     -- Angel allocated nodeid: 3
Pseudo-terminal will not be allocated because stdin is not a terminal.
Shutting down MySQL.... SUCCESS! 
Starting MySQL... SUCCESS! 
Pseudo-terminal will not be allocated because stdin is not a terminal.
Shutting down MySQL.... SUCCESS! 
Starting MySQL..... SUCCESS! 

参考链接

MySQL Cluster集群搭建-CSDN博客

这篇关于MySQL NDB Cluster 分布式架构搭建 自定义启动、重启和关闭集群Shell脚本的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/776901

相关文章

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后,有时候会需要自动创建分区。比如,一些表数据量非常大,有些数据是热点数据,按照日期分区MululbU

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

MySQL中查找重复值的实现

《MySQL中查找重复值的实现》查找重复值是一项常见需求,比如在数据清理、数据分析、数据质量检查等场景下,我们常常需要找出表中某列或多列的重复值,具有一定的参考价值,感兴趣的可以了解一下... 目录技术背景实现步骤方法一:使用GROUP BY和HAVING子句方法二:仅返回重复值方法三:返回完整记录方法四:

从入门到精通MySQL联合查询

《从入门到精通MySQL联合查询》:本文主要介绍从入门到精通MySQL联合查询,本文通过实例代码给大家介绍的非常详细,需要的朋友可以参考下... 目录摘要1. 多表联合查询时mysql内部原理2. 内连接3. 外连接4. 自连接5. 子查询6. 合并查询7. 插入查询结果摘要前面我们学习了数据库设计时要满

MySQL查询JSON数组字段包含特定字符串的方法

《MySQL查询JSON数组字段包含特定字符串的方法》在MySQL数据库中,当某个字段存储的是JSON数组,需要查询数组中包含特定字符串的记录时传统的LIKE语句无法直接使用,下面小编就为大家介绍两种... 目录问题背景解决方案对比1. 精确匹配方案(推荐)2. 模糊匹配方案参数化查询示例使用场景建议性能优

mysql表操作与查询功能详解

《mysql表操作与查询功能详解》本文系统讲解MySQL表操作与查询,涵盖创建、修改、复制表语法,基本查询结构及WHERE、GROUPBY等子句,本文结合实例代码给大家介绍的非常详细,感兴趣的朋友跟随... 目录01.表的操作1.1表操作概览1.2创建表1.3修改表1.4复制表02.基本查询操作2.1 SE

MySQL中的锁机制详解之全局锁,表级锁,行级锁

《MySQL中的锁机制详解之全局锁,表级锁,行级锁》MySQL锁机制通过全局、表级、行级锁控制并发,保障数据一致性与隔离性,全局锁适用于全库备份,表级锁适合读多写少场景,行级锁(InnoDB)实现高并... 目录一、锁机制基础:从并发问题到锁分类1.1 并发访问的三大问题1.2 锁的核心作用1.3 锁粒度分