Kubernetes 外部 etcd 集群的快速 Docker Compose 部署指南

2024-08-26 06:20

本文主要是介绍Kubernetes 外部 etcd 集群的快速 Docker Compose 部署指南,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、背景

在高可用 Kubernetes 部署中,需要单独部署外部 etcd 集群,而不是使用 kubeadm 默认在 master 节点上部署的 etcd。以下是关于这一配置场景的详细记录。

二、etcd简介

etcd 是一个高可用的分布式键值存储系统,主要用于存储和管理配置信息、服务发现信息以及其他重要的元数据。etcd 是由 CoreOS 开发的,基于 Raft 共识算法来保证数据的一致性和可靠性。

2.1 etcd 关键特点

  • 分布式:etcd 运行在多个节点上,通过 Raft 协议确保数据一致性。
  • 高可用性:即使部分节点出现故障,etcd 也能继续提供服务。
  • 一致性保证:使用 Raft 协议来确保数据的一致性,支持强一致性读写。
  • 键值存储:数据以键值对的形式存储,适合存储配置和元数据。
  • 支持事务:支持原子操作,如事务操作来保证数据的正确性。

2.2 etcd 主要功能

  • 分布式键值存储:etcd 是一个高可用的分布式键值存储系统,支持高效的键值对存储和读取,并提供强一致性保证。
  • 一致性保证:etcd 使用 Raft 协议确保数据一致性,即使部分节点故障,数据仍然保持一致。
  • 高可用性:etcd 通过数据复制到多个节点提供高可用性和容错能力,只要大多数节点正常,数据依然可用。
  • 事务支持:etcd 支持原子操作和事务,确保对多个键值对的更改安全一致。
  • 观察和通知:etcd 支持事件监听和观察功能,客户端可以订阅键值变化,适合动态配置更新。
  • 持久化存储:etcd 将数据持久化到磁盘,确保在节点重启或故障时数据不丢失。
  • 分布式锁:etcd 提供分布式锁,支持节点间的协调和同步,常用于确保资源唯一性或任务协调。
  • 范围查询:etcd 支持对键值对的范围查询,便于批量检索数据。
  • API 接口:etcd 提供 HTTP/gRPC API,支持基本的 CRUD 操作、事务和观察功能。

这些功能使 etcd 成为一个强大且可靠的分布式键值存储系统,适合用于需要高一致性和高可用性的场景,特别是在 Kubernetes 这样的集群管理系统中。

2.3 etcd 在 Kubernetes 中使用场景

K8S-3主3从-单独etcd集群.png

在 Kubernetes (K8S) 集群中,etcd 扮演着至关重要的角色。它主要用于存储和管理 Kubernetes 的所有集群状态信息和配置数据。以下是 etcd 在 Kubernetes 中的一些关键使用场景:

  • 集群状态存储:Kubernetes 的所有集群状态、配置信息、资源定义等都存储在 etcd 中。包括 Pod、Service、ConfigMap、Secret 等对象的状态和配置都被存储在 etcd 中。

  • 高可用性配置:提供高可用性和容错能力,保证即使在集群中的一些节点失效的情况下,Kubernetes 也能继续运行和提供服务。

  • 数据一致性保证: 使用 Raft 协议确保数据的一致性,这对于 Kubernetes 来说是非常重要的,因为它需要确保所有操作和状态在集群中的一致性。

  • 服务发现:Kubernetes 的服务发现机制依赖于 etcd 存储服务的状态和信息。etcd 记录服务的 IP 地址和端口信息,允许其他组件进行服务发现。

  • 动态配置管理:Kubernetes 使用 etcd 来管理配置变化,比如部署新的应用版本或调整资源配置。etcd 的事务支持使得配置更改能够被安全地提交和应用。

  • 审计和恢复:etcd 的持久化存储允许 Kubernetes 在发生故障或恢复操作时能够重建集群状态。etcd 的备份和恢复机制是确保 Kubernetes 集群数据安全的重要手段。

三、使用docker-compose快速部署etcd

  • 参考官方文档:https://github.com/etcd-io/etcd/releases

3.1 etcd单节点部署

PS: 请勿在K8S 集群中的机器上 使用docker-compose 去部署etcd ,可能会存在子网冲突; 在条件允许的情况下,我们还是申请机器去单独部署etcd

3.1.1 环境准备

机器IP主机名etcd版本docker 版本docker-compose版本
172.22.33.213etcdv3.3.820.10.18v2.10.2

3.1.2 创建etcd 工作目录,编写docker-compose 文件

  • ETCD_NAME 每个节点的 etcd 服务名称
  • ETCD_ADVERTISE_CLIENT_URLS 填写每个 etcd 容器所在节点对外提供服务的 IP
  • ETCD_INITIAL_ADVERTISE_PEER_URLS 填写每个 etcd 容器所在节点对外提供服务的 IP
  • ETCD_INITIAL_CLUSTER: ETCD 集群配置包含所有节点的名称和 ETCD_INITIAL_ADVERTISE_PEER_URLS 地址,我这里目前就一个节点
  • ETCD_INITIAL_CLUSTER_STATE:
    • new: 用于首次创建全新 etcd 集群,节点将根据初始配置启动集群。
    • existing: 用于扩展、重启或恢复已有的集群,节点将尝试加入现有集群,而不是重新初始化
$ mkdir -p /home/application/etcd/{data,config}$ cat  >> /home/application/etcd/docker-compose.yaml << EOF
version: '3'services:etcd:container_name: etcdimage: quay.srebro.site/coreos/etcd:v3.3.8environment:- ETCD_NAME=etcd- ETCD_DATA_DIR=/var/etcd- ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379- ETCD_ADVERTISE_CLIENT_URLS=http://172.22.33.213:2379- ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380- ETCD_INITIAL_ADVERTISE_PEER_URLS=http://172.22.33.213:2380- ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster- ETCD_INITIAL_CLUSTER=etcd=http://172.22.33.213:2380- ETCD_INITIAL_CLUSTER_STATE=new- ETCD_LOGGER=zap- ETCD_LOG_LeveL=info volumes:- /home/application/etcd/data:/var/etcd- "/etc/localtime:/etc/localtime:ro"ports:- 2379:2379- 2380:2380restart: alwaysnetworks:default:name: etcd-tierdriver: bridge
EOF

3.1.3 创建并启动 etcd 服务

$ cd /home/application/etcd/
$ docker-compose up -d
$ docker-compose ps
NAME                COMMAND                 SERVICE             STATUS              PORTS
etcd                "/usr/local/bin/etcd"   etcd                running             0.0.0.0:2379-2380->2379-2380/tcp, :::2379-2380->2379-2380/tcp

3.1.4 etcd 服务可用性测试

为了测试 etcd 服务的可用性,需要安装 etcd 客户端工具用于验证测试。

$ wget https://github.com/etcd-io/etcd/releases/download/v3.5.15/etcd-v3.5.15-linux-amd64.tar.gz
$ tar -xf etcd-v3.5.15-linux-amd64.tar.gz
$ cp etcd-v3.5.15-linux-amd64/etcdctl /usr/local/bin
$ chmod +x  /usr/local/bin/etcdctl#使用 etcdctl 工具快速检查指定的 etcd 节点(或节点集)的健康状态$ etcdctl --endpoints=172.22.33.213:2379 --write-out=table endpoint health+--------------------+--------+------------+-------+
|      ENDPOINT      | HEALTH |    TOOK    | ERROR |
+--------------------+--------+------------+-------+
| 172.22.33.213:2379 |   true | 3.035915ms |       |
+--------------------+--------+------------+-------+#使用 etcdctl 工具查看指定 etcd 节点(或节点集)当前的详细状态信息$ etcdctl  --endpoints=172.22.33.213:2379 --write-out=table endpoint status
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|      ENDPOINT      |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| 172.22.33.213:2379 | 8e9e05c52164694d |   3.3.8 |   26 MB |      true |      false |         2 |     659422 |                  0 |        |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+#使用 etcdctl 工具验证测试 member$ etcdctl  --endpoints=172.22.33.213:2379 --write-out=table member list
+------------------+---------+------+-----------------------+---------------------------+------------+
|        ID        | STATUS  | NAME |      PEER ADDRS       |       CLIENT ADDRS        | IS LEARNER |
+------------------+---------+------+-----------------------+---------------------------+------------+
| 8e9e05c52164694d | started | etcd | http://localhost:2380 | http://172.22.33.213:2379 |      false |
+------------------+---------+------+-----------------------+---------------------------+------------+# etcdctl 工具验证测试数据读写
$ etcdctl  --endpoints=172.22.33.213:2379  put srebro.cn yyds
OK
$ etcdctl  --endpoints=172.22.33.213:2379 get srebro.cn
srebro.cn
yyds

3.2 etcd集群部署

PS: 请勿在K8S 集群中的机器上 使用docker-compose 去部署etcd集群 ,可能会存在子网冲突; 在条件允许的情况下,我们还是申请机器去单独部署etcd集群

3.2.1 环境准备

机器IP主机名etcd版本docker 版本docker-compose版本
172.22.33.210etcd-01v3.3.820.10.18v2.10.2
172.22.33.211etcd-02v3.3.820.10.18v2.10.2
172.22.33.212etcd-03v3.3.820.10.18v2.10.2

3.2.2 修改主机名,添加hosts解析

在每台主机上执行

设置主机名:
$ hostnamectl set-hostname etcd-01
$ hostnamectl set-hostname etcd-02
$ hostnamectl set-hostname etcd-03#在所有节点添加hosts:
$ cat >> /etc/hosts << EOF
172.22.33.210 etcd-01
172.22.33.212 etcd-02
172.22.33.212 etcd-03
EOF

3.2.3 创建etcd 工作目录,编写docker-compose 文件

172.22.33.210 etcd-01 主机上
每个节点内容不一样,需要分别编写。

mkdir -p /home/application/etcd/{data,config}cat  >> /home/application/etcd/docker-compose.yaml << EOF
version: '3'services:etcd:container_name: etcdimage: quay.srebro.site/coreos/etcd:v3.3.8environment:- ETCD_NAME=etcd01- ETCD_DATA_DIR=/var/etcd- ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379- ETCD_ADVERTISE_CLIENT_URLS=http://172.22.33.210:2379- ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380- ETCD_INITIAL_ADVERTISE_PEER_URLS=http://172.22.33.210:2380- ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster- ETCD_INITIAL_CLUSTER=etcd01=http://172.22.33.210:2380,etcd02=http://172.22.33.211:2380,etcd03=http://172.22.33.212:2380- ETCD_INITIAL_CLUSTER_STATE=new- ETCD_LOGGER=zap- ETCD_LOG_LeveL=info      volumes:- /home/application/etcd/data:/var/etcd- "/etc/localtime:/etc/localtime:ro"ports:- 2379:2379- 2380:2380restart: alwaysnetworks:default:name: etcd-tierdriver: bridge
EOF

172.22.33.211 etcd-02 主机上
每个节点内容不一样,需要分别编写。

mkdir -p /home/application/etcd/{data,config}cat  >> /home/application/etcd/docker-compose.yaml << EOF
version: '3'services:etcd:container_name: etcdimage: quay.srebro.site/coreos/etcd:v3.3.8environment:- ETCD_NAME=etcd02- ETCD_DATA_DIR=/var/etcd- ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379- ETCD_ADVERTISE_CLIENT_URLS=http://172.22.33.211:2379- ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380- ETCD_INITIAL_ADVERTISE_PEER_URLS=http://172.22.33.211:2380- ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster- ETCD_INITIAL_CLUSTER=etcd01=http://172.22.33.210:2380,etcd02=http://172.22.33.211:2380,etcd03=http://172.22.33.212:2380- ETCD_INITIAL_CLUSTER_STATE=new- ETCD_LOGGER=zap- ETCD_LOG_LeveL=info      volumes:- /home/application/etcd/data:/var/etcd- "/etc/localtime:/etc/localtime:ro"ports:- 2379:2379- 2380:2380restart: alwaysnetworks:default:name: etcd-tierdriver: bridge
EOF

172.22.33.212 etcd-03 主机上
每个节点内容不一样,需要分别编写。

mkdir -p /home/application/etcd/{data,config}cat  >> /home/application/etcd/docker-compose.yaml << EOF
version: '3'services:etcd:container_name: etcdimage: quay.srebro.site/coreos/etcd:v3.3.8environment:- ETCD_NAME=etcd03- ETCD_DATA_DIR=/var/etcd- ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379- ETCD_ADVERTISE_CLIENT_URLS=http://172.22.33.212:2379- ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380- ETCD_INITIAL_ADVERTISE_PEER_URLS=http://172.22.33.212:2380- ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster- ETCD_INITIAL_CLUSTER=etcd01=http://172.22.33.210:2380,etcd02=http://172.22.33.211:2380,etcd03=http://172.22.33.212:2380- ETCD_INITIAL_CLUSTER_STATE=new- ETCD_LOGGER=zap- ETCD_LOG_LeveL=info      volumes:- /home/application/etcd/data:/var/etcd- "/etc/localtime:/etc/localtime:ro"ports:- 2379:2379- 2380:2380restart: alwaysnetworks:default:name: etcd-tierdriver: bridgeEOF

3.2.4 创建并启动 etcd 服务

每台机器依次启动etcd 服务

$ cd /home/application/etcd/
$ docker-compose up -d
$ docker-compose ps
NAME                COMMAND                 SERVICE             STATUS              PORTS
etcd                "/usr/local/bin/etcd"   etcd                running             0.0.0.0:2379-2380->2379-2380/tcp, :::2379-2380->2379-2380/tcp

3.2.5 etcd 集群服务可用性测试

为了测试 etcd 集群服务的可用性,需要安装 etcd 客户端工具用于验证测试。

$ wget https://github.com/etcd-io/etcd/releases/download/v3.5.15/etcd-v3.5.15-linux-amd64.tar.gz
$ tar -xf etcd-v3.5.15-linux-amd64.tar.gz
$ cp etcd-v3.5.15-linux-amd64/etcdctl /usr/local/bin
$ chmod +x  /usr/local/bin/etcdctl#使用 etcdctl 工具快速检查指定的 etcd 节点(或节点集)的健康状态$ etcdctl --endpoints=172.22.33.210:2379,172.22.33.211:2379,172.22.33.212:2379 --write-out=table endpoint health+--------------------+--------+------------+-------+
|      ENDPOINT      | HEALTH |    TOOK    | ERROR |
+--------------------+--------+------------+-------+
| 172.22.33.210:2379 |   true | 3.035915ms |       |
| 172.22.33.211:2379 |   true | 3.035915ms |       |
| 172.22.33.212:2379 |   true | 3.035915ms |       |
+--------------------+--------+------------+-------+#使用 etcdctl 工具查看指定 etcd 节点(或节点集)当前的详细状态信息$ etcdctl --endpoints=172.22.33.210:2379,172.22.33.211:2379,172.22.33.212:2379 --write-out=table endpoint status
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|      ENDPOINT      |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| 172.22.33.210:2379 | 8e9e05c52164694d |   3.3.8 |   26 MB |      true |      false |         2 |     659422 |                  0 |        |
| 172.22.33.211:2379 | 0e95c521fdoi69ac |   3.3.8 |   26 MB |      false|     false |          2 |     659422 |                  0 |        |
| 172.22.33.212:2379 | pe9e05dfbrt64680 |   3.3.8 |   26 MB |      false|     false |          2 |     659422 |                  0 |        |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+#使用 etcdctl 工具验证测试 member$ etcdctl  --endpoints=172.22.33.210:2379,172.22.33.211:2379,172.22.33.212:2379 --write-out=table member list
+------------------+---------+------+-----------------------+---------------------------+------------+
|        ID        | STATUS  | NAME |      PEER ADDRS       |       CLIENT ADDRS        | IS LEARNER |
+------------------+---------+------+-----------------------+---------------------------+------------+
| 8e9e05c52164694d | started | etcd | http://localhost:2380 | http://172.22.33.210:2379 |      true |
| 0e95c521fdoi69ac | started | etcd | http://localhost:2380 | http://172.22.33.211:2379 |      false|
| pe9e05dfbrt64680 | started | etcd | http://localhost:2380 | http://172.22.33.212:2379 |      false|
+------------------+---------+------+-----------------------+---------------------------+------------+# etcdctl 工具验证测试数据读写
$ etcdctl  --endpoints=172.22.33.210:2379,172.22.33.211:2379,172.22.33.212:2379  put srebro.cn hello
OK
$ etcdctl  --endpoints=172.22.33.210:2379,172.22.33.211:2379,172.22.33.212:2379 get srebro.cn
srebro.cn
hello

四、kubeadm 使用集群外etcd,部署K8S集群

kubeadm 安装过程省略,直接贴上kubeadm-init.yaml 配置文件;主要查看etcd 那块的配置;

另外需要注意,ETCD 集群 与 apiservice 之间通信,是否采用TLS 加密,我上面部署的etcd集群实则是没有采用TLS 加密的

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:- system:bootstrappers:kubeadm:default-node-tokentoken: 35sesk.5tm3tqc66tzlse8cttl: 24h0m0susages:- signing- authentication
kind: InitConfiguration
localAPIEndpoint:advertiseAddress: 172.22.33.220bindPort: 6443
nodeRegistration:criSocket: unix:///var/run/cri-dockerd.sockimagePullPolicy: IfNotPresentname: k8s-master01taints:- effect: NoSchedulekey: node-role.kubernetes.io/master
---
apiServer:certSANs:- kubernetes- kubernetes.default- kubernetes.default.svc- kubernetes.default.svc.cluster.local- 172.22.33.220- 112.11.11.11- k8s.srebro.cntimeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: 172.22.33.220:6443
controllerManager: {}
dns: {}
etcd:external:endpoints:- "http://172.22.33.210:2379"- "http://172.22.33.211:2379"- "http://172.22.33.212:2379"
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.24.9
networking:dnsDomain: cluster.localpodSubnet: 10.244.0.0/16serviceSubnet: 10.96.0.0/12
scheduler: {}
  • 不使用TLS 加密 ,需要配置如下内容:

image-20240825162139075

  • 如果需要使用TLS 加密 ,需要配置如下内容:

image-20240825162058429

五、参考

  • https://cloud.tencent.com/developer/article/2394695

来源于srebro.cn
© 版权声明
文章版权归作者所有,未经允许请勿转载。

这篇关于Kubernetes 外部 etcd 集群的快速 Docker Compose 部署指南的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1107792

相关文章

PyInstaller打包selenium-wire过程中常见问题和解决指南

《PyInstaller打包selenium-wire过程中常见问题和解决指南》常用的打包工具PyInstaller能将Python项目打包成单个可执行文件,但也会因为兼容性问题和路径管理而出现各种运... 目录前言1. 背景2. 可能遇到的问题概述3. PyInstaller 打包步骤及参数配置4. 依赖

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

Nginx中配置HTTP/2协议的详细指南

《Nginx中配置HTTP/2协议的详细指南》HTTP/2是HTTP协议的下一代版本,旨在提高性能、减少延迟并优化现代网络环境中的通信效率,本文将为大家介绍Nginx配置HTTP/2协议想详细步骤,需... 目录一、HTTP/2 协议概述1.HTTP/22. HTTP/2 的核心特性3. HTTP/2 的优

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

Docker镜像修改hosts及dockerfile修改hosts文件的实现方式

《Docker镜像修改hosts及dockerfile修改hosts文件的实现方式》:本文主要介绍Docker镜像修改hosts及dockerfile修改hosts文件的实现方式,具有很好的参考价... 目录docker镜像修改hosts及dockerfile修改hosts文件准备 dockerfile 文

在React中引入Tailwind CSS的完整指南

《在React中引入TailwindCSS的完整指南》在现代前端开发中,使用UI库可以显著提高开发效率,TailwindCSS是一个功能类优先的CSS框架,本文将详细介绍如何在Reac... 目录前言一、Tailwind css 简介二、创建 React 项目使用 Create React App 创建项目

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.