关于 Elasticsearch 集群核心配置,腾讯大佬的灵魂9问,你能接住几个?

本文主要是介绍关于 Elasticsearch 集群核心配置,腾讯大佬的灵魂9问,你能接住几个?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

题记

这是一位腾讯大佬 2020年4月份在死磕 Elasticsearch技术交流微信群里发起讨论的问题,之前初步讨论了答案,但是不够细或者说讲解不透,所以一直没有成文。

这一次,加上了实践验证,说透。

1、上问题

还是没太搞懂 seed_hosts 和 cluster.initial_master_nodes 的区别。

  • 1、 seed_hosts里面一定是配置 master eligible节点吗?

  • 2、还是说data节点也可以配置到 master eligible

  • 3、是如何发现潜在机器的呢?

  • 4、initial_master一定是master eligible节点吧?

  • 5、集群初始启动时, 这几个节点一定都要在是吗?

  • 6 、初始的时候是不是可以配置一个, 然后集群初始化后, 再加master eligible节点也可以的是吗?

  • 7 、多加几个以后, 把initial_master里的几个去掉是不是也可以了?

  • 8、如果一个集群当前master为7,那他的quorum是4。es 是支持慢慢去掉节点,quorum慢慢降低的吗?

  • 9、 那假如慢慢去掉了3个节点,原集群正常工作,那这三个节点重启后网络分区在一起了,那会不会自己形成集群啊?

希望大佬们点拨一下... ...

2、拆解一把

问题的核心是:seed_host 和 cluster.initial_master_nodes 的区别?

2.0 认知前提

为避免认知偏差,将常用英文词汇做基础释义:

  • Discovery :发现是节点间在形成集群之前发现其他节点的过程。当你启动Elasticsearch节点时,或者当节点认为主节点发生故障时,此过程将运行,并持续到找到主节点或选择新的主节点为止。

  • master-eligible nodes:候选主节点

  • master-ineligible nodes:非候选主节点

  • coordinating-only nodes:仅协调节点

  • data-only nodes:仅数据节点

  • seed hosts providers:种子主机列表

  • voting configuration:投票配置

  • split brain:脑裂

  • initial quorum:初始仲裁——仅在整个集群首次启动时才需要初始仲裁

2.1 主节点职责

主节点负责集群范围内的轻量级操作,例如:

  • 创建或删除索引

  • 跟踪哪些节点是集群的一部分

  • 确定将哪些分片分配给哪些节点。

拥有稳定的主节点对于集群健康非常重要。

候选主节点通过主选举过程成为主节点。

一个集群中:选举后只有一个主节点。

2.2 脑裂

以下脑裂是我的通俗解释:

假设在 2.1 选举主节点过程中,一个集群中出现了 2个或者2个以上的主节点,也就是说一个集群形式上划分为两个或两个以上的孤立集群,这就被称为脑裂。

2.3 候选主节点两大基本任务

候选主节点必须合力完成的两个基本任务:

  • 选举主节点

  • 更改集群状态

即时某些节点故障,也要保住以上两活动正常运行。

2.4 投票配置

每个 Elasticsearch 集群都有一组投票配置,这是一组候选主节点的集合。

什么时候使用呢?

  • 第一:选举主节点;

  • 第二:提交新的集群状态。

什么时候做决策?——仅在投票配置中超过一半节点做出响应后才做决策。

通常:投票配置和集群中所有候选主节点集合相同。但,某些情况下可以不同。

以下是要强调的也是被问最多的问题之一:

  • 为确保集群仍然可用,请勿同时停止投票配置中的一半或更多节点。

  • 只要有一半以上的投票节点可用,集群就可以正常工作。

例如:

  • 如果有三个或四个候选主机节点,则集群可以容忍一个候选主节点不可用。

  • 如果有两个或更少的候选主节点,则它们必须全部保持可用。

后面的实战验证举例,你会进一步看到结论。

2.5 集群规划时设置奇数个候选主节点

集群中通常应有奇数个候选主节点。

如果有偶数个,Elasticsearch将其中一个排除在投票配置之外,以确保其大小为奇数。

换种通俗说法:

4个候选主节点和3个候选主节点本质一样,只容许一个候选主节点失效。

2.6 discovery.seed_hosts  和 initial_master_nodes 作用

7.x7.X 之前
discovery.seed_hostsdiscovery.zen.ping.unicast.hosts
cluster.initial_master_nodesminimum_master_nodes  min_master_count

  • discovery.seed_hosts 的来龙去脉

6.X 5.X对应名字:discovery.zen.ping.unicast.hosts。

看如下截图,对比:除了名称不同,释义部分一模一样。

如果多节点集群,discovery.seed_hosts 应该配置为候选主节点。

  • cluster.initial_master_nodes

这也是7.X的特性,区别于之前设置min_master_count候选主节点的个数。

白话文:设置候选主机节点的主机名称列表。

在7.x节点上,discovery.zen.minimum_master_nodes设置是允许的,但被忽略。

集群首次启动的时候,cluster.initial_master_nodes 必须设置为执行集群引导。

在集群初始化阶段,cluster.initial_master_nodes 应该包含候选主节点的名称,并在集群中每个候选主节点上进行定义。

本质区别:

  • cluster.initial_master_nodes:仅在集群首次启动会使用。

  • discovery.seed_hosts:每次启动都需要。

2.7 Discovery 过程解读

Discovery 过程从一个或多个种子主机列表以及集群中已知的任何一个候选主节点地址开始。

该过程分两个阶段进行:

  • 首先,探测种子地址。

每个节点通过连接到每个地址并尝试识别其连接的节点是否是候选主节点来探测种子地址。

  • 其次,如果成功,它将与远程节点共享其所有已知的候选主机节点列表,并且远程节点将依次与其做对等回应。

然后,该节点将探测刚刚发现的所有新节点,请求其对等节点,依此类推。

如果该节点不是候选主节点,则它将继续此 Discovery 过程,直到发现了选举的主节点为止。如果未发现选择的主节点,则该节点将在默认值为 1s 之后重试。

如果该节点是候选主节点,则它将继续此 Discovery 过程,直到它找到了选举的主节点,或者它找到了足够的候选主节点来完成选举。同样的,如果这两种方法都没有很快的进行,则该节点将在 1s 后重试。

这里有点绕,需要结合英文文档多读几遍,加深 Discovery 理解。

2.8 elasticsearch.yml 配置注意

现在,7.X Elasticsearch 的生产部署需要至少在 elasticsearch.yml 配置文件中指定以下设置之一:

  • discovery.seed_hosts

  • discovery.seed_providers

  • cluster.initial_master_nodes

  • discovery.zen.ping.unicast.hosts

  • discovery.zen.hosts_provider

2.9  非候选主节点在 discovery  阶段被忽略

在 7.X 之前早期版本中,有可能在 discovery 过程中使用非候选主节点作为种子节点或在符合条件的主机之间间接传输信息。

像这样的依赖非候选主节点的集群非常脆弱,无法自动从某些故障中恢复。

7.X 版本之后,discovery 仅涉及集群中候选主节点,不会像早期版本一样依赖于非候选主节点。

如何在7.X 中配置呢?应该在配置中将  discovery.seed_hosts 或者  discovery.seed_providers 设置为所有候选主节点的地址。

2.10 关于故障检测超时时间

7.X 默认情况下,如果集群节点未能响应 3 个连续的 ping(每个 ping 在 10 秒后超时),则集群故障检测子系统现在将其视为故障节点。

因此,响应时间超过 30 秒 的节点可能会从集群中删除。

7.X 以前,每个ping的默认超时为 30 秒,因此,无响应的节点可能会在集群中保留 90 秒以上。

2.11  删除候选主节点有时需要做排除投票

如果你希望从集群中删除一半或更多的候选主节点,则必须首先使用投票配置排除API从投票配置中排除受影响的节点。

排除 API 如下:

POST _cluster/voting_config_exclusions?node_names=<node_names>
POST _cluster/voting_config_exclusions?node_ids=<node_ids>
DELETE _cluster/voting_config_exclusions

如果你同时删除少于一半的候选主节点,则不需要做投票排除。

如果仅删除非候选主节点(例如仅数据节点或仅协调节点),则不需要做投票排除。

同样,如果将节点添加到集群,也不需要投票排除。

3、实践一把

3.1 场景1:一主节点、一仅数据节点

数据节点配置:

  • seed host 和  initial_master_nodes 只设置主节点配置。

结果如下:

3.2 场景二:一主节点、二仅数据节点

两个数据节点配置:

  • seed host 和  initial_master_nodes 只设置主节点配置。

3.3 场景三:三个节点都是主节点同时也是数据节点

三节点相同配置如下:

注意,这时候,我把node-1 强制杀掉?大家猜会发生什么?

如果说宕机,你错了!集群进行了重新选主:

结果如下:节点2 成为主节点。

实际业务场景不建议这么做,数据节点在没有设置主节点角色:node.master: true 的前提下,成为了主节点。

3.4 场景四:三个节点都是主节点同时也是数据节点

三节点相同配置如下:

逐个kill 掉 节点2、节点 1 看看结果?

先干掉节点2:节点1成为了主节点。

再干掉节点1:集群已无法访问和使用。

这个时候,错误日志如下:

核心错误说明:候选主节点要求至少 2个节点。

an election requires at least 2 nodes  .....  which is not a quorum.

详细报错如下:

 [node-3] master not discovered or elected yet, an election requires at least 2 nodes with ids from [0bozQB4VRZWB4TuzjRahAw, Z7PxWN_bQEeeI6KOlQT8pw, AWDZHrxaTd2qmOB1e8kadQ], have discovered [] which is not a quorum; discovery will continue using [172.21.0.14:9300, 172.21.0.14:9302] from hosts providers and [{node-3}{Z7PxWN_bQEeeI6KOlQT8pw}{ejRvW9egTrum3G5DrwmrIA}{172.21.0.14}{172.21.0.14:9303}{ml.machine_memory=8200851456, xpack.installed=true, ml.max_open_jobs=20}, {node-1}{AWDZHrxaTd2qmOB1e8kadQ}{FFIDQcynQMGHqPwCW9lFfw}{172.21.0.14}{172.21.0.14:9300}{ml.machine_memory=8200851456, ml.max_open_jobs=20, xpack.installed=true}] from last-known cluster state; node term 8, last-accepted version 92 in term 8

正如官方文档所示:

为确保集群仍然可用,你不得同时停止投票配置中的一半或更多节点。只要有一半以上的投票节点可用,集群可以正常工作。

如前所述:投票配置中配置的就是候选主节点!

3.5 场景五:三个节点都是主节点同时也是数据节点

在老配置基础上修改,注释掉:initial_master_nodes 的配置。配置如下:

集群结果如下:

集群也能正常启动。结合 2.6 小节看能更好理解一些。

4、再回答腾讯大佬的问题

  • 1、 seed_hosts里面一定是配置 master eligible节点吗?

是的,必须候选主节点。

  • 2、还是说data节点也可以配置到 master eligible

理论可以,实际不推荐。

  • 3、是如何发现潜在机器的呢?

Discovery 过程就是发现过程。

  • 4、initial_master一定是master eligible节点吧?

是的。

  • 5、集群初始启动时, 这几个节点一定都要在是吗?

大规模集群要注意:集群规划阶段要考虑设置:奇数个候选主节点。

集群初始启动阶段之前候选主节点配置要设置合理。

  • 6 、初始的时候是不是可以配置一个, 然后集群初始化后, 再加master eligible节点也可以的是吗?

可以,但不推荐。

如果多节点集群,建议一步到位。

  • 7 、多加几个以后, 把initial_master里的几个去掉是不是也可以了?

仅在集群首次启动会使用,其他阶段可以去掉。详见案例五。

不过,规范管理起见,配置上不用动就可以了。

  • 8、如果一个集群当前master为7,那他的quorum是4。es 是支持慢慢去掉节点,quorum慢慢降低的吗?

换个思维理解,这里如果有 7 个候选主节点,意味着至少要一半以上有效集群才能存活。

也就是干掉3个候选主节点,集群依然是存活状态的。

  • 9、 那假如慢慢去掉了3个节点,原集群正常工作,那这三个节点重启后网络分区在一起了,那会不会自己形成集群啊?

不会,去掉的3个节点,还会继续加入原来的集群啊!

5、小结

类似概念的确单纯看文档不好理解,甚至你看完本文还是有点糊涂。

不要为了区分概念而区分概念,实践一把,把理论概念转成实践、再结合理论,就好理解了。

这篇关于关于 Elasticsearch 集群核心配置,腾讯大佬的灵魂9问,你能接住几个?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/953749

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

每天认识几个maven依赖(ActiveMQ+activemq-jaxb+activesoap+activespace+adarwin)

八、ActiveMQ 1、是什么? ActiveMQ 是一个开源的消息中间件(Message Broker),由 Apache 软件基金会开发和维护。它实现了 Java 消息服务(Java Message Service, JMS)规范,并支持多种消息传递协议,包括 AMQP、MQTT 和 OpenWire 等。 2、有什么用? 可靠性:ActiveMQ 提供了消息持久性和事务支持,确保消

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释:wolfCrypt是一个开源的、轻量级的、可移植的加密库,支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作,而不依赖其他加密库。 2. DTLS Support 解释:DTLS(Datagram Transport Layer Security)是一种基于UDP的安全协议,提供类似于