swarm mysql集群_立足Docker运行MySQL:多主机网络下Docker Swarm模式的容器管理

本文主要是介绍swarm mysql集群_立足Docker运行MySQL:多主机网络下Docker Swarm模式的容器管理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文将以多主机网络环境为基础,探讨如何利用内置编排工具 Docker Swarm模式对各主机上的容器加以管理。

Docker Engine – Swarm模式

在多台主机之上运行MySQL容器拥有一定程度的复杂性,而具体水平则取决于您所选择的集群技术。

在尝试利用容器加多主机网络运行MySQL之前,我们首先需要理解镜像的起效原理、各资源的分配方式(包括磁盘、内存与CPU)、网络(覆盖网络驱动因素,默认情况下包括flannel与weave等)以及容错机制(容器如何实现重新定位、故障转移以及负载均衡等)。

这一切都会给数据库的整体运行、正常运行时间以及性能表现造成影响。我们建议大家使用编排工具保证Docker引擎集群拥有更出色的可管理性与可扩展性。最新的Docker Engine(版本为1.12,发布于2016年7月14日)当中包含有Swarm模式,专门用于以原生方式管理名为Swarm的Docker Engine集群。

需要注意的是,Docker Engine Swarm模式与Docker Swarm是两个不同的项目,二者虽然工作原理类似,但却拥有不同的安装步骤。

下面我们来看看着手进行之前,首先需要完成的准备工作:

必须首先打开以下端口:

2377 (TCP) – 集群管理

7946 (TCP 与UDP) – 节点通信

4789 (TCP与UDP) – 覆盖网络流量

节点类型分为2种:

管理节点 - 管理节点负责执行维护Swarm必要状态所必需的编排与集群管理功能。管理节点会选择单一主管理方执行编排任务。

工作节点 - 工作节点负责从管理节点处接收并执行各项任务。在默认情况下,管理节点本身同时也作为工作节点存在,但大家可以通过配置保证其仅执行管理任务。

在本文中,我们将立足于3台Docker主机(docker1、docker2与docker3)在负载均衡Galera Cluster之上部署应用程序容器,同时将其接入一套覆盖网络。我们将利用Docker Engine Swarm模式作为编排工具。

集群构建

首先让我们将Docker节点纳入Swarm集群当中。Swarm模式要求利用奇数台管理节点(当然不止一台)以维持容错能力。因此,我们在这里需要让三台节点全部作为管理节点。需要注意的是,在默认情况下,管理节点同时亦作为工作节点。

首先在docker1上对Swarm模式进行初始化。完成之后,该节点将成为管理节点及当前管理方:

[root@docker1]$ docker swarm init --advertise-addr 192.168.55.111

Swarm initialized: current node (6r22rd71wi59ejaeh7gmq3rge) is now a manager.

To add a worker to this swarm, run the following command:

docker swarm join \

--token SWMTKN-1-16kit6dksvrqilgptjg5pvu0tvo5qfs8uczjq458lf9mul41hc-dzvgu0h3qngfgihz4fv0855bo \

192.168.55.111:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

我们还需要将其它两个节点添加为管理节点。使用join命令将这两台节点注册为管理节点:

[docker1]$ docker swarm join-token manager

To add a manager to this swarm, run the following command:

docker swarm join \

--token SWMTKN-1-16kit6dksvrqilgptjg5pvu0tvo5qfs8uczjq458lf9mul41hc-7fd1an5iucy4poa4g1bnav0pt \

192.168.55.111:2377

在docker2与docker3上,运行以下命令以进行节点注册:

$ docker swarm join \

--token SWMTKN-1-16kit6dksvrqilgptjg5pvu0tvo5qfs8uczjq458lf9mul41hc-7fd1an5iucy4poa4g1bnav0pt \

192.168.55.111:2377

验证是否全部节点都已经正确添加:

[docker1]$ docker node ls

ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS

5w9kycb046p9aj6yk8l365esh docker3.local Ready Active Reachable

6r22rd71wi59ejaeh7gmq3rge * docker1.local Ready Active Leader

awlh9cduvbdo58znra7uyuq1n docker2.local Ready Active Reachable

到这里,我们的docker1.local作为主管理节点。

覆盖网络

要让不同主机之上的运行的容器彼此实现对接,惟一的方式就是使用覆盖网络。大家可以将其视为一套构建于另一网络(在本示例中为物理主机网络)之上的容器网络。Docker Swarm模式提供一套默认覆盖网络,其负责配合libnetwork与libkv实现一套基于VxLAN的解决方案。当然,大家也可以选择Flannel、Calico或者Weave等其它覆盖网络驱动方案,但需要执行额外的安装步骤。

在Docker Engine Swarm模式当中,大家可以单纯立足管理节点创建一套覆盖网络,而且其不需要etcd、consul或者Zookeeper等额外的键值存储机制。

这套Swarm仅为集群内的各节点提供覆盖网络。当大家创建一项需要用到覆盖网络的服务时,管理节点会自动将覆盖网络延伸至运行该服务任务的节点处。

c269b99ee47b78cfc4a8554d5765211c.png

下面让我们为各容器创建一套覆盖网络。在这里,我们需要将Percona XtraDB集群与应用程序容器分别部署在各Docker主机之上,用以实现容错性。这些容器必须运行在同一覆盖网络当中,从而确保其能够彼此通信。

这里我们将网络命名为“mynet”。大家只能在管理节点上完成这一创建工作:

[docker1]$ docker network create --driver overlay mynet

下面来看我们的现有网络:

[docker1]$ docker network ls

NETWORK ID NAME DRIVER SCOPE

213ec94de6c9 bridge bridge local

bac2a639e835 docker_gwbridge bridge local

5b3ba00f72c7 host host local

03wvlqw41e9g ingress overlay swarm

9iy6k0gqs35b mynet overlay swarm

12835e9e75b9 none null local

现在Swarm当中拥有2套覆盖网络。其中“mynet”网络正是我们在部署容器时所创建的成果。而ingress覆盖网络则为默认提供。Swarm管理节点会利用ingress负载均衡以将服务公布至集群之外。

利用服务与任务实现部署

接下来我们将通过服务与任务进行Galera集群容器部署。当大家创建一项服务时,需要指定使用哪套容器镜像并在容器内执行哪些命令。服务类型共分为两种:

复制服务——将一系列复制任务分发至各节点当中,具体取决于您所需要的设置状态,例如“——replicas 3”。

全局服务——适用于集群内全部可用节点上的服务任务,例如“——mode global”。如果大家在Swarm集群中设有7台Docker节点,则全部节点之上都将存在对应容器。

Docker Swarm模式在管理持久数据存储方面功能有限。当一台节点发生故障时,管理节点会绕过各相关容器并创建新容器,用于继续保持原有运行状态。由于容器在下线后会被丢弃,因此我们会失去其中的全部数据分卷。幸运的是,Galera集群允许各MySQL容器以自动方式在加入时利用状态/数据接受配置。

部署键-值存储

我们在这里使用的docker镜像为Percona-Lab。这套镜像要求各MySQL容器访问一套键-值存储(仅支持etcd)以实现集群初始化与引导过程中的IP地址发现。各容器将在etcd当中搜索其它IP地址,从而利用正确的wsrep_cluster_address完成MySQL启动。否则,首套容器将使用gcomm://作为引导地址。

首先部署我们的etcd服务。大家可以点击此处获取我们使用的etcd镜像。其要求我们根据所需部署的etcd节点数量使用一条发现URL。在这种情况下,我们需要设置单独的etcd容器,其具体命令为:

[docker1]$ curl -w "\n" 'https://discovery.etcd.io/new?size=1'

https://discovery.etcd.io/a293d6cc552a66e68f4b5e52ef163d68

在此之后,使用生成的URL作为“-discovery”值,同时为etcd创建该服务:

[docker1]$ docker service create \

--name etcd \

--replicas 1 \

--network mynet \

-p 2379:2379 \

-p 2380:2380 \

-p 4001:4001 \

-p 7001:7001 \

elcolio/etcd:latest \

-name etcd \

-discovery=https://discovery.etcd.io/a293d6cc552a66e68f4b5e52ef163d68

到这里,Docker Swarm模式将编排其中一台Docker主机上的容器部署工作。

检索etcd服务虚拟IP地址。我们需要在下一步部署集群时使用此IP地址:

[docker1]$ docker service inspect etcd -f "{{ .Endpoint.VirtualIPs }}"

[{03wvlqw41e9go8li34z2u1t4p 10.255.0.5/16} {9iy6k0gqs35bn541pr31mly59 10.0.0.2/24}]

到这里,我们的架构如下图所示:

fd7843dd98252f26e12a2ddba6993949.png

部署数据库集群

利用以下命令为etcd指定虚拟IP地址,用于部署Galera(Percona XtraDB集群)容器:

[docker1]$ docker service create \

--name mysql-galera \

--replicas 3 \

-p 3306:3306 \

--network mynet \

--env MYSQL_ROOT_PASSWORD=mypassword \

--env DISCOVERY_SERVICE=10.0.0.2:2379 \

--env XTRABACKUP_PASSWORD=mypassword \

--env CLUSTER_NAME=galera \

perconalab/percona-xtradb-cluster:5.6

整个部署流程需要耗费一段时间,包括将镜像下载至对应的工作/管理节点。大家可以使用以下命令验证其部署状态:

[docker1]$ docker service ps mysql-galera

ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR

8wbyzwr2x5buxrhslvrlp2uy7 mysql-galera.1 perconalab/percona-xtradb-cluster:5.6 docker1.local Running Running 3 minutes ago

0xhddwx5jzgw8fxrpj2lhcqeq mysql-galera.2 perconalab/percona-xtradb-cluster:5.6 docker3.local Running Running 2 minutes ago

f2ma6enkb8xi26f9mo06oj2fh mysql-galera.3 perconalab/percona-xtradb-cluster:5.6 docker2.local Running Running 2 minutes ago

可以看到,mysql-galera服务目前已经开始运行。下面列出全部现有服务:

[docker1]$ docker service ls

ID NAME REPLICAS IMAGE COMMAND

1m9ygovv9zui mysql-galera 3/3 perconalab/percona-xtradb-cluster:5.6

au1w5qkez9d4 etcd 1/1 elcolio/etcd:latest -name etcd -discovery=https://discovery.etcd.io/a29...

Swarm模式包含一项内部DNS组件,其负责自动为Swarm中的每项服务分配一条DNS入口。因此,大家可以使用该服务名称以解析至对应的虚拟IP地址:

[docker2]$ docker exec -it $(docker ps | grep etcd | awk {'print $1'}) ping mysql-galera

PING mysql-galera (10.0.0.4): 56 data bytes

64 bytes from 10.0.0.4: seq=0 ttl=64 time=0.078 ms

64 bytes from 10.0.0.4: seq=1 ttl=64 time=0.179 ms

或者直接使用“docker service inspect”命令检索该虚拟IP地址:

[docker1]# docker service inspect mysql-galera -f "{{ .Endpoint.VirtualIPs }}"

[{03wvlqw41e9go8li34z2u1t4p 10.255.0.7/16} {9iy6k0gqs35bn541pr31mly59 10.0.0.4/24}]

到这里,我们的架构如下图所示:

528fb183b5a3f117a4ee0df80e27571d.png

部署应用程序

最后,大家可以创建应用程序服务并将MySQL服务名称(mysql-galera)作为数据库主机值进行交付:

[docker1]$ docker service create \

--name wordpress \

--replicas 2 \

-p 80:80 \

--network mynet \

--env WORDPRESS_DB_HOST=mysql-galera \

--env WORDPRESS_DB_USER=root \

--env WORDPRESS_DB_PASSWORD=mypassword \

wordpress

部署完成之后,我们随后能够通过“docker service inspect”命令检索wordpress服务的虚拟IP地址:

[docker1]# docker service inspect wordpress -f "{{ .Endpoint.VirtualIPs }}"

[{p3wvtyw12e9ro8jz34t9u1t4w 10.255.0.11/16} {kpv8e0fqs95by541pr31jly48 10.0.0.8/24}]

现在再来看目前的架构示意图:

ebfff6bb3ab65ac884e29fa5b8bfad8c.png

我们的分布式应用程序与数据库设置已经由Docker容器部署完成。

接入服务与负载均衡

到这里,以下端口都已经在集群中的全部Docker节点上被打开(基于每条“docker service create”命令上的-p标记),而无论各节点目前是否正在运行该服务任务:

etcd - 2380, 2379, 7001, 4001

MySQL - 3306

HTTP - 80

如果我们直接利用简单循环接入PublishedPort,则可看到MySQL服务已经在各容器之上实现负载均衡:

[docker1]$ while true; do mysql -uroot -pmypassword -h127.0.0.1 -P3306 -NBe 'select @@wsrep_node_address'; sleep 1; done

10.255.0.10

10.255.0.8

10.255.0.9

10.255.0.10

10.255.0.8

10.255.0.9

10.255.0.10

10.255.0.8

10.255.0.9

10.255.0.10

^C

现在,Swarm管理节点负责负载均衡的内部管理,而且我们无法配置该负载均衡算法。在此之后,我们可以利用外部负载均衡器将外部流量路由至各Docker节点当中。一旦任何Docker节点发生故障,该服务将被重新定位至其它可用节点。

基于最新 Docker SwarmKit 技术的数人云容器管理面板Crane发布新版本啦,点击下方了解更多:

这篇关于swarm mysql集群_立足Docker运行MySQL:多主机网络下Docker Swarm模式的容器管理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/682596

相关文章

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

如何用Docker运行Django项目

本章教程,介绍如何用Docker创建一个Django,并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口,映射到宿主机的80端口上。 docker run -itd --name python311 -p

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖