猪圈Pigsty-PG私有RDS集群搭建教程

2024-02-18 15:52

本文主要是介绍猪圈Pigsty-PG私有RDS集群搭建教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

博客

https://songxwn.com/Pigsty-PG-RDS/

简介

Pigsty 是一个更好的本地自建且开源 RDS for PostgreSQL 替代,具有以下特点:

  • 开箱即用的 PostgreSQL 发行版,深度整合地理、时序、分布式、图、向量、分词、AI等 150 余个扩展插件!

  • 运行于裸操作系统之上,无需容器支持,支持主流操作系统: EL7/8/9 及其衍生发行版, Ubuntu 20.04/22.04 以及 Debian 11/12。(推荐使用Rocky Linux)

  • 基于现代的 Prometheus 与 Grafana 技术栈,提供令人惊艳,无可比拟的数据库观测能力:画廊 & 演示站点

  • 基于 patroni, haproxy, 与etcd,打造故障自愈的高可用架构:硬件故障自动切换,流量无缝衔接。

  • 基于 pgBackRest 与可选的 MinIO 集群提供开箱即用的 PITR 时间点恢复,为软件缺陷与人为删库兜底。

  • 基于 Ansible 提供声明式的 API 对复杂度进行抽象,以 Database-as-Code 的方式极大简化了日常运维管理操作。

  • Pigsty用途广泛,可用作完整应用运行时,开发演示数据/可视化应用,大量使用 PG 的软件可用 Docker 模板一键拉起。

  • 提供基于 Vagrant 的本地开发测试沙箱环境,与基于 Terraform 的云端自动部署方案,开发测试生产保持环境一致。

  • 部署并监控专用的 Redis(主从,哨兵,集群),MinIO,Etcd,Haproxy,MongoDB(FerretDB) 集群

官方文档:https://pigsty.cc/doc/#/zh/README

项目地址:https://github.com/Vonng/pigsty

本教程说明

一个非常简单的入门教程,用于构建一个三节点的PG集群(开启VIP),且支持扩展时序数据库timescaledb,主要用于Zabbix的后端数据库。

基于Pigsty 2.5.1 、Rocky Linux 9.3 编写。

安装

初始化元节点(管理监控节点)

准备一个全新的符合要求 的 Linux x86_64 ,使用带有root权限或有sudo权限的用户执行安装脚本。

(官方推荐使用Rocky Linux 8.8,配置建议2C4G 100G硬盘)

curl https://get.pigsty.cc/latest | bash

PS:安装后会移除系统自带yum源,建议提前安装所需软件。

该命令会下载并解压 Pigsty 源码至用户Home,按提示完成 准备,配置,安装三个步骤即可完成安装。

cd ~/pigsty     # 进入 Pigsty 源码目录,完成后续 准备、配置、安装 三个步骤
./bootstrap      
# 确保 Ansible 正常安装,如果存在 /tmp/pkg.tgz 离线软件包,便使用它。
./configure      
# 执行环境检测,并生成相应的推荐配置文件,如果你知道如何配置 Pigsty 可以跳过。
./install.yml    
# 根据生成的配置文件开始在当前节点上执行安装,使用离线安装包大概需要10分钟完成。
# 可以在里面修改默认信息pigsty.yml,如域名和默认密码等。

安装完成后,您可以通过域名或80/443端口通过 Nginx 访问 WEB 界面,通过 5432 端口访问元节点默认的 PostgreSQL 数据库服务。

IP地址规划

IP地址主机名角色
172.18.77.33pg-meta-1元节点
172.18.77.101pg-cu1-1PG集群主机节点
172.18.77.102pg-cu1-2PG集群主机节点
172.18.77.103pg-cu1-3PG集群主机节点
172.18.77.99vipKeepalived 虚拟IP

PS:Keepalived 集群需要在同一广播域。(其实就是基于VRRP协议)

DNS 解析配置

组件端口域名说明官方Demo地址
Nginx80h.pigstyWeb 服务总入口,本地YUM源home.pigsty.cc
AlertManager9093a.pigsty告警聚合/屏蔽页面a.pigsty.cc
Grafana3000g.pigstyGrafana 监控面板demo.pigsty.cc
Prometheus9090p.pigstyPrometheus 管理界面p.pigsty.cc

你需要修改hosts文件,增加以上解析。或者在内网dns配置上述解析。解析的IP为元节点IP即可

Pigsty 会自动给纳入管理的节点填写hosts文件。

172.18.77.33 h.pigsty a.pigsty p.pigsty g.pigsty # pigsty dns
#示例

访问Web 界面

主页域名为 h.pigsty ,g.pigsty 为Grafana ,全局应用默认账号密码为 admin/pigsty。

(如果自己电脑要用浏览器访问,注意配置DNS解析或hosts文件)

部署三节点PG高可用集群

编辑Pigsty 配置文件,增加主机节点信息

cd ~/pigsty  
# 进入pigsty 主目录,所有操作都在此目录执行。
vim pigsty.yml 
# 编辑配置文件,增加三台主节点和集群配置。
增加PG集群和VIP配置信息

1、集群名字为pg-cu1

2、配置172.18.77.101为默认主节点,其他为从节点。

3、开启keepalived配置,配置VIP地址为 172.18.22.99。配置每台关联VIP的网卡为ens33。(网卡名字注意修改)

4、此段配置在children 下增加,与默认的pg-meta同级别。

5、VRRP的id 为35,注意不要冲突。

    pg-cu1:hosts:172.18.77.101: { pg_seq: 1, pg_role: primary }172.18.77.102: { pg_seq: 2, pg_role: replica }172.18.77.103: { pg_seq: 3, pg_role: replica }vars: pg_cluster: pg-cu1vip_enabled: true            # enable vip on this node cluster?vip_address: 172.18.77.99       # node vip address in ipv4 format, required if vip is enabledvip_vrid: 35        # required, integer, 1-254, should be unique among same VLANvip_role: backup                  # optional, `master/backup`, backup by default, use as init rolevip_preempt: true               # optional, `true/false`, false by default, enable vip preemptionvip_interface: ens33              # node vip network interface to listen, `eth0` by defaultvip_dns_suffix: ''                # node vip dns name suffix, empty string by defaultvip_exporter_port: 9650           # keepalived exporter listen port, 9650 by default
增加PG数据库、用户、HBA配置。

1、增加zabbix、grafana 数据库,Zabbix 开启timescaledb扩展,并配置所属用户。并与pgbouncer同步创建。

2、增加zabbix、grafana 用户并配置密码、角色。并与pgbouncer同步创建。

3、配置用户的HBA规则,允许任意IP访问,并配置pgbouncer和HBA

4、pg_libs 配置PG加载的插件列表,这里加载了timescaledb插件。

    pg-cu1:hosts:172.18.77.101: { pg_seq: 1, pg_role: primary } 172.18.77.102: { pg_seq: 2, pg_role: replica } 172.18.77.103: { pg_seq: 3, pg_role: replica } vars: pg_cluster: pg-cu1pg_databases:- name: zabbix                    # 必选,`name` 是数据库定义的唯一必选字段pgbouncer: true                 # 可选,是否将此数据库添加到 pgbouncer 数据库列表?默认为 trueextensions:                     # 可选,要安装的附加扩展: 扩展对象的数组- { name: timescaledb }       # 例如有的扩展会创建并使用固定的模式,就不需要指定模式。owner: zabbix                   # 可选,数据库所有者,默认为 postgres- name: grafana                   # 必选,`name` 是数据库定义的唯一必选字段pgbouncer: true                 # 可选,是否将此数据库添加到 pgbouncer 数据库列表?默认为 trueowner: grafana                  # 可选,数据库所有者,默认为 postgrespg_users:    - name: zabbix                    # 数据库用户名,必需,`name` 是用户定义的唯一必选字段password: Passwd.zabbix         # 可选,密码,可以是 scram-sha-256 哈希字符串或明文pgbouncer: true                 # 可选,默认为 false,将此用户添加到 pgbouncer 用户列表roles: [dbrole_admin]comment: Zabbix                 # 可选,此用户/角色的说明与备注字符串- name: grafana                   # 数据库用户名,必需,`name` 是用户定义的唯一必选字段password: pgbouncer: true                 # 可选,默认为 false,将此用户添加到 pgbouncer 用户列表roles: [dbrole_admin]comment: grafana                # 可选,此用户/角色的说明与备注字符串pg_hba_rules:- { user: 'zabbix'  ,db: all ,addr: 0.0.0.0/0    ,auth: pwd ,title: 'zabbix用户不限制登录'}- { user: 'grafana' ,db: all ,addr: 0.0.0.0/0    ,auth: pwd ,title: 'grafana用户不限制登录'}pgb_hba_rules: - { user: 'zabbix'  ,db: all  ,addr: 0.0.0.0/0   ,auth: pwd ,title: 'zabbix用户不限制登录'}- { user: 'grafana' ,db: all  ,addr: 0.0.0.0/0   ,auth: pwd ,title: 'grafana用户不限制登录'}pg_libs: 'timescaledb, pg_stat_statements, auto_explain' # 加载时序数据库插件vip_enabled: true            # enable vip on this node cluster?vip_address: 172.18.77.99       # node vip address in ipv4 format, required if vip is enabledvip_vrid: 35        # required, integer, 1-254, should be unique among same VLANvip_role: backup                  # optional, `master/backup`, backup by default, use as init rolevip_preempt: true               # optional, `true/false`, false by default, enable vip preemptionvip_interface: ens33              # node vip network interface to listen, `eth0` by defaultvip_dns_suffix: ''                # node vip dns name suffix, empty string by defaultvip_exporter_port: 9650           # keepalived exporter listen port, 9650 by default
全部配置展示(仅参考) 用于Zabbix服务器的时序数据库

1、注意全局密码已经修改为PG-PWD-01

all:children:# infra cluster for proxy, monitor, alert, etc..infra: { hosts: { 172.18.77.33: { infra_seq: 1 } } }# etcd cluster for ha postgresetcd: { hosts: { 172.18.77.33: { etcd_seq: 1 } }, vars: { etcd_cluster: etcd } }# minio cluster, optional backup repo for pgbackrest#minio: { hosts: { 172.18.77.33: { minio_seq: 1 } }, vars: { minio_cluster: minio } }# postgres cluster 'pg-meta' with single primary instancepg-meta:hosts: { 172.18.77.33: { pg_seq: 1, pg_role: primary } }vars:pg_cluster: pg-metapg_databases: [ { name: meta ,baseline: cmdb.sql ,comment: pigsty meta database ,schemas: [ pigsty ] ,extensions: [{name: postgis, schema: public}] }]pg_users:- { name: dbuser_meta ,password: DBUser.Meta   ,pgbouncer: true ,roles: [ dbrole_admin ]    ,comment: pigsty admin user }- { name: dbuser_view ,password: DBUser.Viewer ,pgbouncer: true ,roles: [ dbrole_readonly ] ,comment: read-only viewer for meta database }pg_libs: 'pg_stat_statements, auto_explain' # add extra extensions to shared_preload_librariesnode_crontab: [ '00 03 * * * postgres /pg/bin/pg-backup full' ] # make a full backup every 1ambj-zjy-pg-cu1:hosts:172.18.77.101: { pg_seq: 1, pg_role: primary } 172.18.77.102: { pg_seq: 2, pg_role: replica } 172.18.77.103: { pg_seq: 3, pg_role: replica } vars: pg_cluster: pg-cu1pg_databases:- name: zabbix                    # 必选,`name` 是数据库定义的唯一必选字段pgbouncer: true                 # 可选,是否将此数据库添加到 pgbouncer 数据库列表?默认为 trueextensions:                     # 可选,要安装的附加扩展: 扩展对象的数组- { name: timescaledb }       # 例如有的扩展会创建并使用固定的模式,就不需要指定模式。owner: zabbix                   # 可选,数据库所有者,默认为 postgres- name: grafana                   # 必选,`name` 是数据库定义的唯一必选字段pgbouncer: true                 # 可选,是否将此数据库添加到 pgbouncer 数据库列表?默认为 trueowner: grafana                  # 可选,数据库所有者,默认为 postgrespg_users:    - name: zabbix                    # 数据库用户名,必需,`name` 是用户定义的唯一必选字段password: Passwd.Zabbix  # 可选,密码,可以是 scram-sha-256 哈希字符串或明文pgbouncer: true                 # 可选,默认为 false,将此用户添加到 pgbouncer 用户列表roles: [dbrole_admin]comment: Zabbix                 # 可选,此用户/角色的说明与备注字符串- name: grafana                    # 数据库用户名,必需,`name` 是用户定义的唯一必选字段password: Passwd.grafana  # 可选,密码,可以是 scram-sha-256 哈希字符串或明文pgbouncer: true                 # 可选,默认为 false,将此用户添加到 pgbouncer 用户列表roles: [dbrole_admin]comment: grafana                 # 可选,此用户/角色的说明与备注字符串pg_hba_rules:- { user: 'zabbix'  ,db: all ,addr: 0.0.0.0/0    ,auth: pwd ,title: 'zabbix用户不限制登录'}- { user: 'grafana' ,db: all ,addr: 0.0.0.0/0    ,auth: pwd ,title: 'grafana用户不限制登录'}pgb_hba_rules: - { user: 'zabbix'  ,db: all  ,addr: 0.0.0.0/0   ,auth: pwd ,title: 'zabbix用户不限制登录'}- { user: 'grafana' ,db: all  ,addr: 0.0.0.0/0   ,auth: pwd ,title: 'grafana用户不限制登录'}pg_libs: 'timescaledb, pg_stat_statements, auto_explain' # 加载时序数据库插件        vip_enabled: true            # enable vip on this node cluster?vip_address: 172.18.77.99       # node vip address in ipv4 format, required if vip is enabledvip_vrid: 35                    # required, integer, 1-254, should be unique among same VLANvip_role: backup                # optional, `master/backup`, backup by default, use as init rolevip_preempt: true               # optional, `true/false`, false by default, enable vip preemptionvip_interface: ens33              # node vip network interface to listen, `eth0` by defaultvip_dns_suffix: ''                # node vip dns name suffix, empty string by defaultvip_exporter_port: 9650           # keepalived exporter listen port, 9650 by defaultvars:                               # global parametersversion: v2.5.1                   # pigsty version stringadmin_ip: 172.18.77.33            # admin node ip addressregion: china                     # upstream mirror region: default,china,europeinfra_portal:                     # domain names and upstream servershome         : { domain: h.pigsty }grafana      : { domain: g.pigsty ,endpoint: "${admin_ip}:3000" , websocket: true }prometheus   : { domain: p.pigsty ,endpoint: "${admin_ip}:9090" }alertmanager : { domain: a.pigsty ,endpoint: "${admin_ip}:9093" }blackbox     : { endpoint: "${admin_ip}:9115" }loki         : { endpoint: "${admin_ip}:3100" }#minio        : { domain: sss.pigsty  ,endpoint: "${admin_ip}:9001" ,scheme: https ,websocket: true }# if you want to use minio as backup repo instead of local fs, uncomment minio related lines# don't forget to configure pgbackrest_repo and change credentials there!#pgbackrest_method: minio# if disabled, original /etc/yum.repos.d will be keptrepo_remove: true       # remove existing repo on admin node during repo bootstrapnode_repo_remove: true  # remove existing node repo for node managed by pigsty# WARNING: CHANGE THESE PASSWORDS#grafana_admin_username: admingrafana_admin_password: PG-PWD-01#pg_admin_username: dbuser_dbapg_admin_password: PG-PWD-01#pg_monitor_username: dbuser_monitorpg_monitor_password: PG-PWD-01#pg_replication_username: replicatorpg_replication_password: PG-PWD-01#patroni_username: postgrespatroni_password: PG-PWD-01#haproxy_admin_username: adminhaproxy_admin_password: PG-PWD-01# this config template assume you are using pre-packed offline packages# If you wish to download upstream yum packages directly from internet,# consider using ad hoc `el7.yml`, `el8.yml`, `el9.yml` config instead.
...

配置元节点密钥免密登录主机节点

Pigsty 会在元节点自动生成一对公私钥,将其拷贝到所有主机节点。

ssh-copy-id 172.18.77.101
# 执行后输入yes,然后再手动输入主机节点的登录密码即可。
ssh 172.18.77.101
# 确认可直接登录即可,所有主机节点都要操作。

将集群节点纳入Pigsty 管理并部署PG集群

节点纳入管理
bin/node-add   pg-cu1    # 将集群 pg-test1 的3个主机节点纳入 Pigsty 管理
PG集群初始化部署(注意:会根据CPU内存等配置自动优化PG参数,建议提前固定好虚拟机配置)
bin/pgsql-add  pg-cu1      # 初始化一个3节点的 pg-cu1 可用PG集群
# 执行后不到10分钟,就将拥有一个服务接入,监控,备份PITR,高可用配置齐全的 PostgreSQL 数据库集群。

PG集群架构图

PG-HA示例图

硬件故障由 patroni、etcd 和 Haproxy 提供的自愈高可用架构来兜底,在主库故障的情况下,默认会在 30 秒内执行自动故障转移(Failover)。 客户端无需修改配置重启应用:Haproxy 利用 patroni 健康检查进行流量分发,读写请求会自动分发到新的集群主库中,并避免脑裂的问题。 这一过程十分丝滑,例如在从库故障,或主动切换(switchover)的情况下,客户端只有一瞬间的有感知查询闪断。

软件故障、人为错误和 数据中心级灾难由 pgbackrest 和可选的 MinIO 集群来兜底。这为您提供了本地/云端的 PITR 能力,并在数据中心爆炸的情况下提供了跨地理区域复制,与异地容灾功能。

管理和使用

默认用户

Pigsty 也有四个默认用户(系统用户):

  • 超级用户 (postgres),集群的所有者和创建者,与操作系统 dbsu 名称相同。

  • 复制用户 (replicator),用于主-从复制的系统用户。

  • 监控用户 (dbuser_monitor),用于监控数据库和连接池指标的用户。

  • 管理用户 (dbuser_dba),执行日常操作和数据库更改的管理员用户。

这4个默认用户的用户名/密码通过4对专用参数进行定义,并在很多地方引用:

  • pg_dbsu:操作系统 dbsu 名称,默认为 postgres,最好不要更改它

  • pg_dbsu_password:dbsu 密码,默认为空字符串意味着不设置 dbsu 密码,最好不要设置。

  • pg_replication_username:postgres 复制用户名,默认为 replicator

  • pg_replication_password:postgres 复制密码,默认为 DBUser.Replicator

  • pg_admin_username:postgres 管理员用户名,默认为 dbuser_dba

  • pg_admin_password:postgres 管理员密码的明文,默认为 DBUser.DBA

  • pg_monitor_username:postgres 监控用户名,默认为 dbuser_monitor

  • pg_monitor_password:postgres 监控密码,默认为 DBUser.Monitor

在生产部署中记得更改这些密码,不要使用默认值!
在部署前,可以在pigsty.yml 里面修改。

配置用户

bin/pgsql-user <cls> <username>    # pgsql-user.yml -l <cls> -e username=<username>

配置HBA

bin/pgsql-hba <cls>                 # 重新加载指定集群 `<cls>` 的 hba 规则
bin/pgsql-hba <cls> ip1 ip2...      # 重新加载特定实例的 hba 规则

创建数据库

bin/pgsql-db <cls> <dbname>    # pgsql-db.yml -l <cls> -e dbname=<dbname>

数据库集群访问端口说明

组件端口描述状态备注
Postgres5432Pigsty CMDB默认启用
Pgbouncer6432Pgbouncer 连接池服务默认启用
Patroni8008Patroni 高可用组件默认启用
Haproxy Primary5433主连接池:读/写服务默认启用
Haproxy Replica5434副本连接池:只读服务默认启用
Haproxy Default5436主直连服务*默认启用
Haproxy Offline5438离线直连:离线读服务默认启用
Haproxy service543xPostgreSQL 定制服务按需定制
Haproxy Admin9101监控指标和流量管理默认启用
PG Exporter9630PG 监控指标导出器默认启用
PGBouncer Exporter9631PGBouncer 监控指标导出器默认启用
Node Exporter9100节点监控指标导出器默认启用
Promtail9080收集数据库组件与主机日志默认启用
vip-manager-将 VIP 绑定到主节点按需启用
Docker Daemon9323Docker 守护进程按需启用
keepalived-为整个集群绑定 L2 VIP按需启用
Keepalived Exporter9650Keepalived 指标导出器按需启用

PS:个人推荐使用 5436端口,并通过VIP地址访问数据库集群。(绕过pgbouncer)

使用pgbouncer 则可以使用5433端口,并通过VIP地址访问集群

默认管理员账号为dbuser_dba。

这篇关于猪圈Pigsty-PG私有RDS集群搭建教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/721656

相关文章

windos server2022的配置故障转移服务的图文教程

《windosserver2022的配置故障转移服务的图文教程》本文主要介绍了windosserver2022的配置故障转移服务的图文教程,以确保服务和应用程序的连续性和可用性,文中通过图文介绍的非... 目录准备环境:步骤故障转移群集是 Windows Server 2022 中提供的一种功能,用于在多个

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》:本文主要介绍了安装和配置AnolisOS23.2系统,包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤,详细内容请阅读本文,希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统,旨

PyTorch使用教程之Tensor包详解

《PyTorch使用教程之Tensor包详解》这篇文章介绍了PyTorch中的张量(Tensor)数据结构,包括张量的数据类型、初始化、常用操作、属性等,张量是PyTorch框架中的核心数据结构,支持... 目录1、张量Tensor2、数据类型3、初始化(构造张量)4、常用操作5、常用属性5.1 存储(st

Java操作PDF文件实现签订电子合同详细教程

《Java操作PDF文件实现签订电子合同详细教程》:本文主要介绍如何在PDF中加入电子签章与电子签名的过程,包括编写Word文件、生成PDF、为PDF格式做表单、为表单赋值、生成文档以及上传到OB... 目录前言:先看效果:1.编写word文件1.2然后生成PDF格式进行保存1.3我这里是将文件保存到本地后

windows系统下shutdown重启关机命令超详细教程

《windows系统下shutdown重启关机命令超详细教程》shutdown命令是一个强大的工具,允许你通过命令行快速完成关机、重启或注销操作,本文将为你详细解析shutdown命令的使用方法,并提... 目录一、shutdown 命令简介二、shutdown 命令的基本用法三、远程关机与重启四、实际应用

python库fire使用教程

《python库fire使用教程》本文主要介绍了python库fire使用教程,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1.简介2. fire安装3. fire使用示例1.简介目前python命令行解析库用过的有:ar

LinuxMint怎么安装? Linux Mint22下载安装图文教程

《LinuxMint怎么安装?LinuxMint22下载安装图文教程》LinuxMint22发布以后,有很多新功能,很多朋友想要下载并安装,该怎么操作呢?下面我们就来看看详细安装指南... linux Mint 是一款基于 Ubuntu 的流行发行版,凭借其现代、精致、易于使用的特性,深受小伙伴们所喜爱。对

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

使用Nginx来共享文件的详细教程

《使用Nginx来共享文件的详细教程》有时我们想共享电脑上的某些文件,一个比较方便的做法是,开一个HTTP服务,指向文件所在的目录,这次我们用nginx来实现这个需求,本文将通过代码示例一步步教你使用... 在本教程中,我们将向您展示如何使用开源 Web 服务器 Nginx 设置文件共享服务器步骤 0 —

Golang使用minio替代文件系统的实战教程

《Golang使用minio替代文件系统的实战教程》本文讨论项目开发中直接文件系统的限制或不足,接着介绍Minio对象存储的优势,同时给出Golang的实际示例代码,包括初始化客户端、读取minio对... 目录文件系统 vs Minio文件系统不足:对象存储:miniogolang连接Minio配置Min