09-02 周一 Ubuntu上使用docker-compose部署elasticsearch和kibana服务

本文主要是介绍09-02 周一 Ubuntu上使用docker-compose部署elasticsearch和kibana服务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

09-02 周一 Ubuntu上部署elasticsearch和kibana服务
时间版本修改人描述
2024年9月2日11:13:54V0.1宋全恒新建文档

简介

 由于组里需要提供一个简易的环境来部署一套服务,可以通过接口进行数据的存储和检索,因此,直接部署一套ES服务来充当这样的功能,本文主要是负责记录整个环境的搭建过程。

步骤

确定docker命令可以使用

songquanheng@zhangyi-H3C-UniServer-R4900-G5:/var/run$ ll | grep docker
drwx------  5 root              root     120 Sep  2 11:05 docker/
-rw-r--r--  1 root              root       6 Sep  2 11:05 docker.pid
srw-rw----  1 root              docker     0 Aug 23 17:33 docker.sock=

 这说明无法使用docker,将当前用户加入docker用户组,并更新用户

从输出中可以看到,/var/run/docker.sock 的权限是 srw-rw----,它的所有者是 root,组是 docker。因此,只有 root 用户和 docker 组中的用户可以访问该套接字。

如果你仍然收到权限错误信息,可能是因为以下几个原因:

  1. 当前用户尚未被正确添加到 docker 组。
  2. 添加到 docker 组的更改尚未生效。

解决步骤:

  1. 确认当前用户是否在 docker 组中

请运行以下命令,确认当前用户是否在 docker 组中:

groups $(whoami)

输出结果中应该包含 docker,例如:

songquanheng : songquanheng docker

如果没有看到 docker,请按照下一步操作。

  1. 将用户添加到 docker

如果当前用户还没有加入 docker 组,请运行以下命令将其添加进去:

bash
Copy code
sudo usermod -aG docker $(whoami)
  1. 重新加载组信息或重新登录

添加用户到 docker 组后,你需要重新加载组信息或注销并重新登录才能生效。

3.1 重新加载组信息

运行以下命令:

newgrp docker

注,上述命令是非常关键的。

newgrp docker 是一个 Linux 命令,用于切换当前会话的用户组,或重新加载用户组配置。

作用

  • 切换当前用户的活动组:在 Linux 系统中,每个用户可以属于多个组,但每个会话只能有一个活动组。newgrp 命令用于切换到另一个组,使得后续在该终端中的所有操作都以新的组身份进行。
  • 重新加载组信息:当你将用户添加到一个新的组(如 docker 组)后,通常需要重新登录才能使更改生效。使用 newgrp docker 可以立即应用这个更改,而不需要完全注销并重新登录。

用例

在将用户添加到 docker 组后,运行 newgrp docker 可以立即让当前终端会话感知到这个更改,使得你能够立即运行需要组权限的命令,比如 docker ps,而不需要注销或者重启终端。

3.2 重新登录

如果你选择完全注销并重新登录,也会使更改生效。

  1. 验证修复

重新登录或加载组信息后,再次尝试运行 Docker 命令:

bash
Copy code
docker ps

如果成功执行,说明问题已解决。

建立docker-compose.yaml

version: '3.8'
services:elasticsearch:image: elasticsearch:8.15.0container_name: elasticsearchenvironment:- node.name=es01- cluster.name=docker-cluster- discovery.type=single-node- bootstrap.memory_lock=true- "ES_JAVA_OPTS=-Xms1g -Xmx1g"- xpack.security.enabled=false  # 禁用安全功能,方便初始测试ulimits:memlock:soft: -1hard: -1volumes:- /data/es_data:/usr/share/elasticsearch/dataports:- "9200:9200"networks:- elastickibana:image: kibana:8.15.0container_name: kibanaenvironment:- ELASTICSEARCH_HOSTS=http://elasticsearch:9200ports:- "5601:5601"networks:- elasticnetworks:elastic:driver: bridge

 关于数据存储目录,参加如下内容

Kibana 容器不需要与 Elasticsearch 相同的数据目录。这是因为 Elasticsearch 和 Kibana 的角色不同,它们的存储需求也不同:

Elasticsearch 和 Kibana 的不同角色

  1. Elasticsearch:
    • 角色: Elasticsearch 是一个搜索和分析引擎,它负责存储、索引和检索数据。它将数据持久化存储在磁盘上,因此需要一个数据目录来保存索引数据、配置文件、日志等。
    • 数据目录: 在 Docker 环境中,这通常映射到容器内部的 /usr/share/elasticsearch/data 目录。在你的配置中,已经将这个目录映射到主机的 /data/es_data 路径中。
  2. Kibana:
    • 角色: Kibana 是一个用于可视化和管理 Elasticsearch 数据的工具。它不直接存储数据,而是依赖 Elasticsearch 来提供数据查询结果。Kibana 本身主要用于管理配置文件、插件和用户会话等。
    • 数据持久化: Kibana 的大部分数据(如用户设置、仪表板等)是存储在 Elasticsearch 中的索引中,而不是在 Kibana 自己的文件系统中。因此,Kibana 不需要像 Elasticsearch 那样的大量持久化存储。

Kibana 的存储需求

Kibana 本身可能只需要在本地存储少量的日志文件或缓存数据。因此,通常你不需要为 Kibana 容器设置专门的持久化数据目录。

总结

  • Elasticsearch 需要一个持久化的数据目录,因为它是数据存储引擎。
  • Kibana 不需要与 Elasticsearch 相同的数据目录,因为它主要依赖 Elasticsearch 来处理数据。Kibana 的配置和元数据大多存储在 Elasticsearch 中,而不是本地文件系统。

因此,在 docker-compose.yml 文件中,你只需为 Elasticsearch 设置数据目录映射,而 Kibana 不需要这样的配置。如果有特殊需求(例如 Kibana 插件存储、日志文件持久化等),可以为 Kibana 配置一个卷,但这通常不是必需的。

安装docker-compose

sudo curl -L "https://github.com/docker/compose/releases/download/v2.29.0/docker-compose-$(uname -s)-$(uname -m)" 
-o /usr/local/bin/docker-compose

为二进制文件赋予权限

sudo chmod +x /usr/local/bin/docker-compose

启动容器

使用docker-compose管理一组容器,

songquanheng@zhangyi-H3C-UniServer-R4900-G5:~/es$ docker-compose up -d
WARN[0000] /home/songquanheng/es/docker-compose.yml: the attribute `version` is obsolete, it will be ignored, please remove it to avoid potential confusion 
[+] Running 3/3✔ Network es_elastic       Created                                                                                                                         0.1s ✔ Container elasticsearch  Started                                                                                                                         0.5s ✔ Container kibana         Started  

解决问题,/usr/share/elasticsearch/data不可写问题

,"error.message":"failed to obtain node locks, tried [/usr/share/elasticsearch/data]; maybe these locations are not writable or multiple nodes were started on the same data path?","error.stack_trace":"java.lang.IllegalStateException: failed to obtain node locks, tried [/usr/share/elasticsearch/data]; maybe these locations are not writable or multiple nodes were started on the same data path?\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:293)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.node.NodeConstruction.validateSettings(NodeConstruction.java:513)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.node.NodeConstruction.prepareConstruction(NodeConstruction.java:260)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.node.Node.<init>(Node.java:192)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.bootstrap.Elasticsearch$2.<init>(Elasticsearch.java:242)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.bootstrap.Elasticsearch.initPhase3(Elasticsearch.java:242)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:76)\nCaused by: java.io.IOException: failed to obtain lock on /usr/share/elasticsearch/data\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment$NodeLock.<init>(NodeEnvironment.java:238)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment$NodeLock.<init>(NodeEnvironment.java:206)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:285)\n\t... 6 more\nCaused by: java.nio.file.NoSuchFileException: /usr/share/elasticsearch/data/node.lock\n\tat java.base/sun.nio.fs.UnixException.translateToIOException(UnixException.java:92)\n\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:106)\n\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:111)\n\tat java.base/sun.nio.fs.UnixPath.toRealPath(UnixPath.java:886)\n\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.NativeFSLockFactory.obtainFSLock(NativeFSLockFactory.java:94)\n\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.FSLockFactory.obtainLock(FSLockFactory.java:43)\n\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.BaseDirectory.obtainLock(BaseDirectory.java:44)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment$NodeLock.<init>(NodeEnvironment.java:231)\n\t... 8 more\n\tSuppressed: java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/node.lock\n\t\tat java.base/sun.nio.fs.UnixException.translateToIOException(UnixException.java:90)\n\t\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:106)\n\t\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:111)\n\t\tat java.base/sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:261)\n\t\tat java.base/java.nio.file.Files.newByteChannel(Files.java:379)\n\t\tat java.base/java.nio.file.Files.createFile(Files.java:657)\n\t\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.NativeFSLockFactory.obtainFSLock(NativeFSLockFactory.java:84)\n\t\t... 11 more\n"}

权限问题:

  • 错误信息中提到的 AccessDeniedExceptionNoSuchFileException,表明 Elasticsearch 容器内的 /usr/share/elasticsearch/data 目录可能无法访问或没有正确的权限。
  • 容器尝试创建或访问锁文件 (node.lock) 时,被系统拒绝访问,或者该文件无法创建。

 宿主机上执行

sudo chmod -R 775 /data/es_data

 这个问题的原因是两个用户体系不同导致的,因为在宿主机上的用户和镜像启动的容器中用户体系是不同的。在容器中启动的用户是elasticsearch,而宿主机上并没有这个用户elasticsearch用户。

 另外,由于镜像内,elasticsearch在容器中,用户

elasticsearch和kibana服务

elasticsearch服务

在本地使用浏览器访问地址获取Elasticsearch是否正常运行

http://10.15.32.121:9200/

 可以得到如下的响应

{"name": "es01","cluster_name": "docker-cluster","cluster_uuid": "XCBd08pwQtKCDGEpbSlmKQ","version": {"number": "8.15.0","build_flavor": "default","build_type": "docker","build_hash": "1a77947f34deddb41af25e6f0ddb8e830159c179","build_date": "2024-08-05T10:05:34.233336849Z","build_snapshot": false,"lucene_version": "9.11.1","minimum_wire_compatibility_version": "7.17.0","minimum_index_compatibility_version": "7.0.0"},"tagline": "You Know, for Search"
}

获取集群健康信息

 浏览器打开如下地址:

http://10.15.32.121:9200/_cluster/health?pretty

 得到如下输出

{"cluster_name": "docker-cluster","status": "green","timed_out": false,"number_of_nodes": 1,"number_of_data_nodes": 1,"active_primary_shards": 28,"active_shards": 28,"relocating_shards": 0,"initializing_shards": 0,"unassigned_shards": 0,"delayed_unassigned_shards": 0,"number_of_pending_tasks": 0,"number_of_in_flight_fetch": 0,"task_max_waiting_in_queue_millis": 0,"active_shards_percent_as_number": 100
}

 上述为单节点。green表示集群健康状态良好。

验证kibana服务

 浏览器访问地址

http://10.15.32.121:5601/

 打开左侧菜单,进入Dev Tools,可直接通过接口请求Elasticsearch中数据。

在这里插入图片描述

总结

 至此,我们就通过镜像,通过docker-compose容器编排引擎简单的完成了Elasticsearch+kibana的环境了,

 而且可以方便的移植到其他的地方。唯一需要的,只是docker-compose,总之,想要在一个新的环境中完成上述环境的部署,我们需要如下的步骤:

  1. 完成docker的安装
  2. 完成docker-compose的安装
  3. 构建docker-compose.yml文件
  4. 启动和验证。

这篇关于09-02 周一 Ubuntu上使用docker-compose部署elasticsearch和kibana服务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1132301

相关文章

闲置电脑也能活出第二春?鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言,在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况,这使得“存储焦虑”不再是个别现象,而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得,我们似乎正处在互联网信息飞速增长的阶段,对于存储的需求也将会不断扩大。对于苹果用户而言,这一问题愈发严峻,毕竟512GB和1TB版本的iPhone可不是人人都消费得起的,因此成熟的外置存储方案开

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

如何用Docker运行Django项目

本章教程,介绍如何用Docker创建一个Django,并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口,映射到宿主机的80端口上。 docker run -itd --name python311 -p

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma