“小白也能玩转！ES集群搭建零报错全攻略，轻松上手指南！”

2024-03-20 03:20
文章标签 es 集群 搭建 报错 轻松 玩转 小白 全攻略 手指

本文主要是介绍“小白也能玩转！ES集群搭建零报错全攻略，轻松上手指南！”，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

🌐 全新的“Open开袁”官方网站现已上线！https://open-yuan.com，汇聚编程资源、深度技术文章及开源项目地址，助您探索技术新境界。

📱 关注微信公众号“全栈小袁”，随时掌握最新项目动态和技术分享，开启技术新篇章！

想要与更多志同道合的伙伴交流心得、分享经验吗？快来加入我们的技术交流社区吧！

环境

JDK版本对应关系：地址

系统环境

软件版本
JDK8
Ubuntu20
ES7.12.0

ES节点环境

主机IP对外服务的http端口
（默认9200）		节点间交互的tcp端口
（默认9300）
ES1192.168.31.10092029301
ES2192.168.31.10192029302
ES3192.168.31.10292029303

三台Linux服务器已经准备完毕
image.png

安装

下载

📢 Open开原官网地址有 ES 资源提供下载，访问 Open官网地址

切换至home目录，执行下载安装包命令（all）

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.0-linux-x86_64.tar.gz

解压

tar -zxvf elasticsearch-7.12.0-linux-x86_64.tar.gz

重命名

mv elasticsearch-7.12.0 es

创建日志目录

mkdir -p /home/es/logs

用户组

创建新用户，不允许root用户操作
useradd es
设置密码
passwd es
分配用户和用户组
chown -R es:es es/

增加内存大小限制

文件末尾追加配置，然后刷新

echo "vm.max_map_count=262144" >> /etc/sysctl.conf && sysctl -p

末尾加上这段内容，es为新添加的用户组

echo "es hard nofile 65536" >> /etc/security/limits.conf
echo "es soft nofile 65536" >> /etc/security/limits.conf

ES配置

配置文件

vi config/elasticsearch.yml
es-1节点
#集群名称
cluster.name: openyuan-cluster-es
#节点名称
node.name: es-1
#数据存储路径
path.data: /home/es/data
#日志存储路径
path.logs: /home/es/logs
#绑定的ip地址（“0.0.0.0”说明都可以访问）
network.host: 192.168.31.100
#对外服务的http端口，默认9200
http.port: 9202
#节点间交互的tcp端口，默认是9300
transport.tcp.port: 9301
#节点列表
discovery.zen.ping.unicast.hosts: ["192.168.31.100:9301", "192.168.31.101:9302","192.168.31.102:9303"]
# 初始主节点列表，用于选举主节点
cluster.initial_master_nodes: ["es-1", "es-2", "es-3"]
#至少两个节点在线
discovery.zen.minimum_master_nodes: 2
# 候选主节点，是否可以推举为主节点
node.master: true
#接入es-head插件
http.cors.enabled: true
http.cors.allow-origin: "*"
es-2节点
#集群名称
cluster.name: openyuan-cluster-es
#节点名称
node.name: es-2
#数据存储路径
path.data: /home/es/data
#日志存储路径
path.logs: /home/es/logs
#绑定的ip地址（“0.0.0.0”说明都可以访问）
network.host: 192.168.31.101
#对外服务的http端口，默认9200
http.port: 9202
#节点间交互的tcp端口，默认是9300
transport.tcp.port: 9302
#节点列表
discovery.zen.ping.unicast.hosts: ["192.168.31.100:9301", "192.168.31.101:9302","192.168.31.102:9303"]
# 初始主节点列表，用于选举主节点
cluster.initial_master_nodes: ["es-1", "es-2", "es-3"]
#至少两个节点在线
discovery.zen.minimum_master_nodes: 2
# 候选主节点，是否可以推举为主节点
node.master: true
#接入es-head插件
http.cors.enabled: true
http.cors.allow-origin: "*"
es-3节点
#集群名称
cluster.name: openyuan-cluster-es
#节点名称
node.name: es-3
#数据存储路径
path.data: /home/es/data
#日志存储路径
path.logs: /home/es/logs
#绑定的ip地址（“0.0.0.0”说明都可以访问）
network.host: 192.168.31.102
#对外服务的http端口，默认9200
http.port: 9202
#节点间交互的tcp端口，默认是9300
transport.tcp.port: 9303
#节点列表
discovery.zen.ping.unicast.hosts: ["192.168.31.100:9301", "192.168.31.101:9302","192.168.31.102:9303"]
# 初始主节点列表，用于选举主节点
cluster.initial_master_nodes: ["es-1", "es-2", "es-3"]
#至少两个节点在线
discovery.zen.minimum_master_nodes: 2
# 候选主节点，是否可以推举为主节点
node.master: true
#接入es-head插件
http.cors.enabled: true
http.cors.allow-origin: "*"

配置系统命令

通过systemctl操作ES的启动、停止、重启等，无需切换es用户

建立es服务文件

vi /lib/systemd/system/es.service

ps：指定es用户（根据自己情况修改），配置启动命令（根据自己情况修改）

配置文件
[Unit]
Description=elasticsearch
Documentation=https://www.elastic.co
After=network.target[Service]
Type=simple
PrivateTmp=true
# 指定ES用户
User=es
Group=es
LimitNOFILE=100000
LimitNPROC=100000
Restart=yes
# 启动命令
ExecStart=/home/es/bin/elasticsearch
ExecRestart=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID[Install]
WantedBy=multi-user.target
加载服务命令

重新加载systemctl服务，使其生效

sudo systemctl daemon-reload

测试服务命令

启动ES
sudo systemctl start es
结束ES
sudo systemctl stop es

或普通操作

ps aux | grep elasticsearch | grep -v grep | awk '{print $2}' | xargs kill
查看ES状态
sudo systemctl status es

image.png

ES命令

查看节点状况

以es-1为例

curl http://192.168.31.100:9202

image.png

查看集群状况

  • 表示为主节点
curl http://192.168.31.100:9202/_cat/nodes?v

image.png

集群一键脚本

📢 注意：我这里以es-1作为主节点，在es-1生成秘钥拷贝至es-2和es-3，在es-1中执行一键脚本命令。
可自行配置

免密登录

清空ssh秘钥信息（全部节点）
rm -r ~/.ssh
生成秘钥（全部节点）

一路回车

ssh-keygen -t rsa
重命名 && 拷贝秘钥（es-1）
mv /root/.ssh/id_rsa.pub /root/.ssh/id_rsa_es1.pub

拷贝到es-2和es-3

scp /root/.ssh/id_rsa_es1.pub root@192.168.31.101:/root/.ssh/
scp /root/.ssh/id_rsa_es1.pub root@192.168.31.102:/root/.ssh/
写入秘钥（es-2和es-3）
cat /root/.ssh/id_rsa_es1.pub >> /root/.ssh/authorized_keys
ssh免密成功
ssh root@192.168.31.252

配置shell脚本

一键启动脚本
vi /home/es-start.sh

#!/bin/bashsystemctl start es
echo "节点: 192.168.31.100 ==> 启动ES...[ done ]"esServers='192.168.31.101 192.168.31.102'# 启动所有的ES
for es in $esServers
dossh root@$es <<EOFsystemctl start es
EOFecho "节点: $es ==> 启动ES...[ done ]"sleep 1
done
一键停止脚本
vi /home/es-stop.sh

#!/bin/bashsystemctl stop es
echo "节点: 192.168.31.100 ==> 停止ES...[ done ]"esServers='192.168.31.101 192.168.31.102'# 启动所有的ES
for es in $esServers
dossh root@$es <<EOFsystemctl stop es
EOFecho "节点: $es ==> 停止ES...[ done ]"sleep 1
done
一键重启脚本
vi /home/es-restart.sh

#!/bin/bashsystemctl restart es
echo "节点: 192.168.31.100 ==> 重启ES...[ done ]"esServers='192.168.31.101 192.168.31.102'# 启动所有的ES
for es in $esServers
dossh root@$es <<EOFsystemctl restart es
EOFecho "节点: $es ==> 重启ES...[ done ]"sleep 1
done
脚本权限授权
chmod u+x /home/es-start.sh /home/es-stop.sh /home/es-restart.sh

执行一键脚本

sh /home/es-startup.sh

sh /home/es-stop.sh

sh /home/es-restart.sh

image.png

配置集群安全验证

修改ES配置

📢 注意：是每个节点都要

vi config/elasticsearch.yml

末尾加上这段配置

# 开启安全验证
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
# 证书认证
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

生成证书

📌 在es-1节点操作，这个没要求

输入完命令，直接回车就行，在config目录下就有一个新的 elastic-certificates.p12 文件
📢 注意：需要将证书拷贝到其他节点的es目录的config目录下

/home/es/bin/elasticsearch-certutil \
cert -out \
/home/es/config/elastic-certificates.p12 -pass

提示输入密码，直接回车即可
image.png

拷贝证书到其他节点

scp /home/es/config/elastic-certificates.p12 root@192.168.31.101:/home/es/config/
scp /home/es/config/elastic-certificates.p12 root@192.168.31.102:/home/es/config/

image.png

证书授权（每个节点）

chown -R es:es /home/es/config/elastic-certificates.p12 && \
chmod 644 /home/es/config/elastic-certificates.p12

重启ES服务（每个节点）

配置了一键脚本的，可以直接一键stop然后一键start

sudo systemctl restart es

设置密码

📢 注意：这里是上面生成证书的那个节点，我这里是es-1

直接选择自动生成，输入y，记得自己保存好，一共七个用户

# 手动设置密码
/home/es/bin/elasticsearch-setup-passwords interactive# 自动设置密码
/home/es/bin/elasticsearch-setup-passwords auto

image.png

Changed password for user apm_system
PASSWORD apm_system = VPnTuWixz5WQJo6zfhk7Changed password for user kibana_system
PASSWORD kibana_system = jmgNNWkbG8mTo6hTNPCWChanged password for user kibana
PASSWORD kibana = jmgNNWkbG8mTo6hTNPCWChanged password for user logstash_system
PASSWORD logstash_system = rX9FTcgBAGB94pM0RWcJChanged password for user beats_system
PASSWORD beats_system = unQDJ4h4x4WwOl0Mta4XChanged password for user remote_monitoring_user
PASSWORD remote_monitoring_user = A0hgS6Xve1nCcGIolOlfChanged password for user elastic
PASSWORD elastic = VbAiNAUopcBojx79yrQ7

修改密码

curl -H "Content-Type:application/json" -XPOST \
-u elastic 'http://127.0.0.1:9202/_xpack/security/user/elastic/_password' \
-d '{ "password" : "123456" }'

验证

查看节点状态
curl http://192.168.31.100:9202

未授权401错误
image.png
新命令

curl http://192.168.31.100:9202 -u elastic:VbAiNAUopcBojx79yrQ7

image.png

查看集群状态
curl http://elastic:VbAiNAUopcBojx79yrQ7@192.168.31.100:9202/_cat/nodes?v

image.png

浏览器访问

image.png

其他说明

启动失败，无法再次启动

删除data数据目录和日志目录

rm -rf /home/es/data/* && rm -rf /home/es/logs/*
IP或ES配置变更后，秘钥问题

重新生成一次密码即可，无需其他操作

# 自动设置密码
/home/es/bin/elasticsearch-setup-passwords auto

后续拓展

Kibana

后续出…

ELK/EFK

后续出…

🌐 全新的“Open开袁”官方网站现已上线！https://open-yuan.com，汇聚编程资源、深度技术文章及开源项目地址，助您探索技术新境界。

📱 关注微信公众号“全栈小袁”，随时掌握最新项目动态和技术分享，开启技术新篇章！

想要与更多志同道合的伙伴交流心得、分享经验吗？快来加入我们的技术交流社区吧！

这篇关于“小白也能玩转！ES集群搭建零报错全攻略，轻松上手指南！”的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/828131。

相关文章

Redis分片集群的实现

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽（Hash Slots）主从复制与故障转移2.
阅读更多...
使用Python实现快速搭建本地HTTP服务器

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》：本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.
阅读更多...
MySQL双主搭建+keepalived高可用的实现

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制，确认复制是否成功4.同
阅读更多...
macOS无效Launchpad图标轻松删除的4 种实用方法

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中，并且长按图标也不会出现删除符号，下面解决这个问... 在 MACOS 上，Launchpad（也就是「启动台」）是一个便捷的 App 启动工具。但有时候，应
阅读更多...
SpringBoot启动报错的11个高频问题排查与解决终极指南

SpringBoot启动报错的11个高频问题排查与解决终极指南

《SpringBoot启动报错的11个高频问题排查与解决终极指南》这篇文章主要为大家详细介绍了SpringBoot启动报错的11个高频问题的排查与解决,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一... 目录1. 依赖冲突：NoSuchMethodError 的终极解法2. Bean注入失败：No qu
阅读更多...
springboot报错Invalid bound statement (not found)的解决

springboot报错Invalid bound statement (not found)的解决

《springboot报错Invalidboundstatement(notfound)的解决》本文主要介绍了springboot报错Invalidboundstatement(not... 目录一. 问题描述二.解决问题三. 添加配置项 四.其他的解决方案4.1 Mapper 接口与 XML 文件不匹配
阅读更多...
利用Go语言开发文件操作工具轻松处理所有文件

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具？核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件
阅读更多...
java常见报错及解决方案总结

java常见报错及解决方案总结

《java常见报错及解决方案总结》：本文主要介绍Java编程中常见错误类型及示例,包括语法错误、空指针异常、数组下标越界、类型转换异常、文件未找到异常、除以零异常、非法线程操作异常、方法未定义异常... 目录1. 语法错误 (Syntax Errors)示例 1:解决方案：2. 空指针异常 (NullPoi
阅读更多...
SpringBoot项目启动报错"找不到或无法加载主类"的解决方法

SpringBoot项目启动报错"找不到或无法加载主类"的解决方法

《SpringBoot项目启动报错找不到或无法加载主类的解决方法》在使用IntelliJIDEA开发基于SpringBoot框架的Java程序时,可能会出现找不到或无法加载主类com.example.... 目录一、问题描述二、排查过程三、解决方案一、问题描述在使用 IntelliJ IDEA 开发基于
阅读更多...
关于Docker Desktop的WSL报错问题解决办法

关于Docker Desktop的WSL报错问题解决办法

《关于DockerDesktop的WSL报错问题解决办法》：本文主要介绍关于DockerDesktop的WSL报错问题解决办法的相关资料,排查发现是因清理%temp%文件夹误删关键WSL文件,... 目录发现问题排查过程：解决方法其实很简单：重装之后再看就能够查到了：最后分享几个排查这类问题的小www.cp
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2