利用pcs +pacemaker +corosync 实现（HA）高可用集群

本文主要是介绍利用pcs +pacemaker +corosync 实现（HA）高可用集群，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

实验环境搭建

在linux环境中，通过母盘是redhat7.6的操作系统，克隆搭建三台域名分别为node1,node2, node3，主机名分别为server1,server2,server3的三台虚拟机。(名称可以任选)
给三台主机分别配置好各自的ip地址和dns地址解析，实现三台虚拟机可以互相ping通。

对于虚拟机的ip和对应的dns解析可以参考

配置好三台主机的yum源仓库，（可以通过宿主机的httpd服务，搭建网络仓库）

对于做高可用节点的虚拟机server1和server2则需要指明高可用套件所在的位置

关闭掉所有虚拟机的防火墙，并将所有主机的selinux设置为disabled状态

实验目的和实验步骤

实验目的：使用corosync作为集群消息事务层（Massage Layer），pacemaker作为集群资源管理器（Cluster Resource Management），pcs作为CRM的管理接口工具。要求实现httpd的高可用功能。

参考文件: 链接: https://pan.baidu.com/s/1jqC1vD7vurfHBC5pwtfTEQ 提取码: qrpf

实验步骤：

实现简单的httpd高可用

注：将server1和server2主机作为高可用集群的两个节点，sever3主机作为外部储存设备（iscsi实现）

给server1 和 server2 安装工具
yum install -y pacemaker pcs psmisc policycoreutils-python

启动server1和server2上的pcsd服务
systemctl status pcsd

给server1和server2主机的hacluster用户添加密码
echo westos | passwd --stdin hacluster

在任意一个节点上，利用pcs集群auth认证为hacluster用户
pcs cluster auth server1 server2
注： /var/lib/pcsd/tokens 放着认证信息，下次使用的时候就不需要认证

接下来，在同一个节点上使用pc集群设置来生成和同步corosync配置
pcs cluster setup --name mycluster server1 server2

开启集群上所有节点
pcs cluster start --all 也可以指定某个节点开启，也可以将他们设置为开机自启pcs cluster enable --all 用pcs cluster status 命令查看该集群上节点的状态信息

可以用corosync-cfgtool -s 查看当前集群通信是否正常（显示的是当前节点的信息）

可以用pcs status corosync查看当前加入该集群的节点信息

用pcs status可以看到会有一个警告，用crm_verify -L -V 可以看到报错，这是因为为了保护数据的安全，默认会开启stonith这个属性，stonith代表的是fence的总开关，在配置fence之前一定要把这个开关打开，我们稍后配置fence，所以用pcs property set stonith-enabled=false关闭该功能

关闭后的结果：

创建第一个资源vip，添加虚拟ip
pcs resource create vip ocf:heartbeat:IPaddr2 ip=172.25.3.100 op monitor interval=30s (vip是资源的名称，第一个字段(本例中为ocf)是资源脚本遵循的标准以及查找它的位置，要获取可用资源标准的列表(ocf: heartbeat:IPaddr2的ocf部分)，运行pcs resource standards;第二个字段(在本例中为心跳)是特定于标准的;对于OCF资源，它告诉集群资源脚本在哪个OCF名称空间中,要获取可用OCF资源提供程序的列表，运行pcs resource providers;第三个字段(本例中为IPaddr2)是资源脚本的名称 ,运行pcs resource agents ocf:heartbeat查看。op monitor interval 是隔多少秒的监控, 运行pcs resource describe ocf:heartbeat:IPaddr2查看参数,其中require是必须要有的。)
此时第一个资源已经创建好了，此时作用在server1节点上，当我们关闭server1节点，则会自动漂移到server2节点上

创建第二个资源web，用户实现httpd集群
注: 需要在两个节点上安装httpd服务
pcs resource create web systemd:httpd op monitor interval=60s

此时两个资源都创建好了，但是此时两个开启的不是在同一个节点，可以通过创建资源组的方式，使他们同时存在在同一个节点中
pcs resource group add webgroup vip web (webgroup 是组名，后面跟的是资源的名称，书写的顺序，就是优先级从高到低的顺序)
最后的结果：

此时就可以测试了，给两个主机添加web测试页 echo server1 > /var/www/html/index.html echo server2 > /var/www/html/index.html, 此时资源组webgroup是作用在server1节点上的，所以他的vip， httpd 都是自动打开的不需要我们手动管理
当我们手动关闭一个节点server1之后，他会将资源自动漂移到另一个节点server2(vip的自动漂移就会体现这一点)，这样就算简单实现了httpd的高可用

实现带有数据储存的httpd高可用

给server3 安装targetd 实现iscsi网络磁盘共享
参考： iscsi网络磁盘共享
具体步骤：
1). 给虚拟机添加一块硬盘

在server3上yum install targetcli -y,并且将刚刚创建的磁盘共享
创建步骤：
1). /backstores/block create mydisk /dev/vdb
2). /iscsi create iqn.2020-10.com.westos:target1
3). /iscsi/iqn.2020-10.com.westos:target1/tpg1/acls create wwn=iqn.2020-10.com.westos:client
4). /iscsi/iqn.2020-10.com.westos:target1/tpg1/luns create /backstores/block/mydisk

在server1和server2上都要执行的操作：
1). yum install iscsi-* -y
2). iscsiadm -m discovery -t st -p 172.25.3.3
3). iscsiadm -m node -l

在任意一个节点上对网络磁盘/dev/sda进行分区, 在另一个节点上如果分区没有显示出来的话，需要用partprobe同步下分区表

在任意节点上用mkfs.xfs /dev/sda1格式化该分区

在任意节点上创建数据资源wwwdata
pcs resource create wwwdata ocf:heartbeat:Filesystem device=/dev/sda1 directory=/var/www/html fstype=xfs op monitor interval=30s

由于新建的资源没有在webgroup资源组里，优先级必须是vip, wwwdata, web
步骤：
1). pcs resource group remove webgroup
2). pcs resource group add webgroup vip wwwdata web

测试：此时资源放在server1节点上，当server1节点不能正常工作后，会自动漂移到另一个节点上

实现带fence的httpd高可用

宿主机安装fence-virtddnf install fence-virtd*

‘fence_virtd -c’ 进入fence_virtd的配置模式

创建认证文件,并重启服务
1).mkdir /etc/cluster
2).dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1
3). systemctl restart fence_virtd.service

在两个节点上创建 /etc/cluster目录，并且将宿主机上的认证文件放到该目录下scp /etc/cluster/fence_xvm.key server2:/etc/cluster/fence_xvm.key

可以在节点上查看可用的fence
stonith_admin -I
stonith_admin -M -a fence_xvm 查看fence_xvm的详细信息

创建fencs_xvm类型的vmfence
pcs stonith create vmfence fence_xvm pcmk_host_map="server1:node1;server2:node2" op monitor interval=30s
注: 映射规则 "主机名: 域名"中间用; 隔开
需要打开stonith 的开关
pcs property set stonith-enabled=true
通过pcs property list 查看是否打开