ELFK日志采 - QuickStart

2024-02-06 18:04
文章标签 日志 elfk quickstart

本文主要是介绍ELFK日志采 - QuickStart，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 架构选型
      • ELK
      • EFLK
    • Elasticsearch
      • ES集群搭建
      • 常用命令
    • Filebeat
      • 功能介绍
      • 安装步骤
      • Filebeat配置详解
      • filebeat常用命令
    • Logstash
      • 功能介绍
      • 安装步骤
      • Input插件
      • Filter插件
        • Grok Filter 插件
        • Mutate Filter 插件
          • 常见的插件配置选项：
          • Mutate Filter配置案例：
      • Output插件
    • Kibana
      • 功能介绍
      • 安装步骤

架构选型

ELK

“ELK” 是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。

  • Elasticsearch 是一个搜索和分析引擎。
  • Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到Elasticsearch、kafka等。
  • Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。

一套日志采集系统需要具备以下5个功能：

  • 收集 ：能够采集多个来源的日志数据。
  • 传输 ：能够稳定的把日志数据传输到日志服务。
  • 存储 ：能够存储海量的日志数据。
  • 查询 ：能够灵活且高效的查询日志数据，并提供一定的分析能力。
  • 告警 ：能够提供提供告警功能，通知开发和运维等等

Elastic官网：https://www.elastic.co/cn/what-is/elk-stack

EFLK

在采集日志数据时，我们需要在服务器上安装一个 Logstash。不过 Logstash 是基于 JVM 的重量级的采集器，对系统的 CPU、内存、IO 等等资源占用非常高，这样可能影响服务器上的其它服务的运行。所以，Elastic NV 推出 Beats ，基于 Go 的轻量级采集器，对系统的 CPU、内存、IO 等等资源的占用基本可以忽略不计。因此，本文的示例就变成了 ELFK 。其中，Beats 负责采集数据，并通过网路传输给 Logstash。即整体架构：

Beats 是一个全品类采集器的系列，包含多个：（使用 Filebeat，采集日志文件）

  • Filebeat ：轻量型日志采集器。√
  • Metricbeat ：轻量型指标采集器。
  • Packetbeat ：轻量型网络数据采集器。
  • Winlogbeat ：轻量型 Windows 事件日志采集器。
  • Auditbeat ：轻量型审计日志采集器。
  • Heartbeat ：面向运行状态监测的轻量型采集器。
  • Functionbeat ：面向云端数据的无服务器采集器。

Elasticsearch

ES集群搭建

参考：Elasticsearch7.x - 集群部署 - lihewei - 博客园 (cnblogs.com)

常用命令

启动 Elasticsearch 服务：

# 使用命令行启动 Elasticsearch 服务
elasticsearch# 或者使用 systemd（根据您的操作系统）
sudo systemctl start elasticsearch

停止 Elasticsearch 服务：

# 使用命令行停止 Elasticsearch 服务
Ctrl+C# 或者使用 systemd（根据您的操作系统）
sudo systemctl stop elasticsearch

检查 Elasticsearch 集群健康状态：

# 使用 curl 命令检查集群健康状态
curl -X GET "http://localhost:9200/_cat/health?v"

查看节点信息：

shellCopy code
# 使用 curl 命令查看节点信息
curl -X GET "http://localhost:9200/_cat/nodes?v"

创建索引：

# 使用 curl 命令创建一个名为 "my_index" 的索引
curl -X PUT "http://localhost:9200/my_index"

删除索引：

# 使用 curl 命令删除名为 "my_index" 的索引
curl -X DELETE "http://localhost:9200/my_index"

索引文档：

# 使用 curl 命令索引一篇文档到 "my_index" 索引中
curl -X POST "http://localhost:9200/my_index/_doc" -d '{"field1": "value1","field2": "value2"
}'

搜索文档：

# 使用 curl 命令执行搜索查询
curl -X GET "http://localhost:9200/my_index/_search?q=field1:value1"

查看索引的映射（Mapping）：

# 使用 curl 命令查看索引 "my_index" 的映射
curl -X GET "http://localhost:9200/my_index/_mapping"

查看索引的统计信息：

# 使用 curl 命令查看索引 "my_index" 的统计信息
curl -X GET "http://localhost:9200/my_index/_stats"

查看索引中的文档数量：

# 使用 curl 命令查看索引 "my_index" 中的文档数量
curl -X GET "http://localhost:9200/my_index/_count"

聚合数据：

# 使用 curl 命令执行聚合操作
curl -X POST "http://localhost:9200/my_index/_search" -d '{"size": 0,"aggs": {"avg_field2": {"avg": {"field": "field2"}}}
}'

更新文档：

# 使用 curl 命令更新文档
curl -X POST "http://localhost:9200/my_index/_update/1" -d '{"doc": {"field1": "new_value"}
}'

删除文档：

# 使用 curl 命令删除文档
curl -X DELETE "http://localhost:9200/my_index/_doc/1"

Filebeat

功能介绍

Filebeat是一个轻量型日志采集器，负责采集数据，并通过网路传输给 Logstash。

安装步骤

1）官网下载：https://www.elastic.co/cn/downloads/beats/filebeat

2）解压：tar -zxvf filebeat-7.5.1-darwin-x86_64.tar.gz

3）修改配置：

filebeat.inputs:
- type: logenabled: truepaths:- /home/crbt/logs/crbtRingSync/wrapper.logfields:log_source: vrbt-rd1-hbbjlog_topic: crbt-web-logoutput.kafka:hosts: ["10.1.61.121:9092"]topic: '%{[fields.log_topic]}'

Filebeat配置详解

  • filebeat.inputs 配置项，设置 Filebeat 读取的日志来源。该配置项是数组类型，可以将 Nginx、MySQL、Spring Boot 每一类，作为数组中的一个元素。
  • output.elasticsearch 配置项，设置 Filebeat 直接写入数据到 Elasticsearch 中。虽然说 Filebeat 5.0 版本以来，也提供了 Filter 功能，但是相比 Logstash 提供的 Filter 会弱一些。所以在一般情况下，Filebeat 并不直接写入到 Elasticsearch 中
  • output.logstash 配置项，设置 Filebeat 写入数据到 Logstash 中
  • output.kafka配置项，设置Filebeat 写入数据到 kafka 中

filebeat常用命令

# 启动filebeat
nohup ./filebeat -e &# -e 参数表示以前台模式运行  -c 指定配置文件
./filebeat -e -c /home/crbt/lihewei/filebeat-7.5.1-linux-x86_64/filebeat.yml
./filebeat -e -c filebeat.yml# 查看filebeat是否正常启动
curl http://localhost:5066/
ps -ef | grep filebeat

Logstash

功能介绍

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到喜欢的“存储库”中。通过定义了一个 Logstash 管道（Logstash Pipeline），来读取、过滤、输出数据。一个 Logstash Pipeline 包含三部分：

  • 【必选】输入（Input）： 数据（包含但不限于日志）往往都是以不同的形式、格式存储在不同的系统中，而 Logstash 支持从多种数据源中收集数据（File、Syslog、MySQL、消息中间件等等）
  • 【可选】过滤器（Filter） ：实时解析和转换数据，识别已命名的字段以构建结构，并将它们转换成通用格式。
  • 【必选】输出（Output） ：Elasticsearch 并非存储的唯一选择，Logstash 提供很多输出选择。

安装步骤

1）下载： https://www.elastic.co/cn/products/logstash

2）解压：unzip logstash-7.5.1.zip

3）修改配置文件

在 config 目录下，提供了 Logstash 的配置文件，其中，logstash-sample.conf 配置文件，是 Logstash 提供的 Pipeline 配置的示例

crbt@node2:/home/crbt/lihw/logstash-7.5.1/config>ll
total 40
-rw-r--r-- 1 crbt crbt 2019 Dec 17  2019 jvm.options
-rw-r--r-- 1 crbt crbt 7482 Dec 17  2019 log4j2.properties
-rw-rw-r-- 1 crbt crbt  843 Sep 15 19:07 logstash.conf
-rw-r--r-- 1 crbt crbt  342 Dec 17  2019 logstash-sample.conf
-rw-r--r-- 1 crbt crbt 8372 Sep 15 10:53 logstash.yml
-rw-r--r-- 1 crbt crbt 3146 Dec 17  2019 pipelines.yml
-rw-r--r-- 1 crbt crbt 1696 Dec 17  2019 startup.options

crbt@node2:/home/crbt/lihw/logstash-7.5.1/config>cat logstash-sample.conf
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.#日志消息从哪里来（这里使用filebeat进行日志收集）
input {beats {port => 5044}
}#日志信息输出到哪里去（这里写入es数据库）
output {elasticsearch {hosts => ["http://10.1.61.121:9200"]index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"}
}

4）指定配置文件并启动logstash：W

# 启动logstash服务（指定自定义的配置文件logstash.conf）
./logstash -f ../config/logstash.conf# 后台启动logstash服务🚩
nohup ./logstash -f ../config/logstash.conf &

Input插件

Logstash 的 input 插件用于从不同的数据源中接收数据，并将其发送到 Logstash 事件流中供进一步处理。每个 input 插件都有其特定的配置选项，以适应不同类型的数据源，修改自定义的配置文件即可生效（下面仅列举了几个常用输入方法）

  • File Input 插件：用于从本地文件读取数据。

    input {file {path => "/path/to/your/logfile.log"start_position => "beginning"sincedb_path => "/dev/null"}
}

  • Beats Input 插件：用于接收来自 Elastic Beats 系列工具（如 Filebeat、Metricbeat）的数据。

    input {beats {port => 5044}
}

  • Kafka Input 插件：用于从 Apache Kafka 主题中消费数据。

    input {kafka {bootstrap_servers => "kafka-server:9092"topics => ["your-topic"]}
}

Filter插件

Logstash 的 filter 插件用于对接收的事件进行处理、转换和丰富，以便更好地进行索引和分析。每个 filter 插件都有其特定的配置选项，以适应不同的数据处理需求。以下是一些常见的 Logstash filter 插件及其配置示例：

Grok Filter 插件

Logstash 的 Grok Filter 插件用于从非结构化的文本数据中提取结构化的字段。

filter {grok {match => { "message" => "%{COMBINEDAPACHELOG}" }}
}
Mutate Filter 插件
常见的插件配置选项：

  • add_field：添加新字段到事件中，并指定字段的名称和值。

    rubyCopy code
mutate {add_field => { "new_field" => "New Value" }
}

  • remove_field：从事件中删除指定字段。

    rubyCopy code
mutate {remove_field => [ "field1", "field2" ]
}

  • rename：重命名事件中的字段，将字段从旧名称改为新名称。

    rubyCopy code
mutate {rename => { "old_field" => "new_field" }
}

  • copy：复制字段的值到新的字段中。

    rubyCopy code
mutate {copy => { "source_field" => "destination_field" }
}

  • replace：替换字段的值为新的值。

    rubyCopy code
mutate {replace => { "field_to_replace" => "new_value" }
}

  • update：更新字段的值为新的值，类似于替换操作。

    rubyCopy code
mutate {update => { "field_to_update" => "new_value" }
}

  • convert：将字段的数据类型转换为指定的类型。

    rubyCopy code
mutate {convert => { "numeric_field" => "integer" }
}

  • gsub：使用正则表达式替换字段中的文本。

    rubyCopy code
mutate {gsub => [ "field_to_modify", "pattern_to_replace", "replacement_text" ]
}

  • uppercase/lowercase：将字段值转换为大写或小写。

    rubyCopy code
mutate {uppercase => [ "field_to_uppercase" ]lowercase => [ "field_to_lowercase" ]
}

  • strip：删除字段值两端的空格。

    rubyCopy code
mutate {strip => [ "field_to_strip" ]
}
Mutate Filter配置案例：

用于对字段进行修改、重命名和删除。

filter {mutate {add_field => { "new_field" => "New Value" }rename => { "user" => "username" }remove_field => [ "message" ]}
}

在上面的配置中，我们使用 Mutate Filter 插件执行了以下操作：

  • add_field：我们添加了一个名为 “new_field” 的新字段，并将其值设置为 “New Value”。此时事件将变为：
  • rename：我们重命名了 “user” 字段为 “username”。此时事件将变为：
  • remove_field：我们删除了 “message” 字段。此时事件将不再包含 “message” 字段。
#过滤前
{"message": "Log entry","user": "john_doe","status": "success","response_time_ms": 45
}#过滤后
{"username": "john_doe","status": "success","response_time_ms": 45,"new_field": "New Value"
}

Output插件

Logstash 的 output 插件用于将处理过的事件发送到各种目标，如 Elasticsearch、文件、数据库等。每个 output 插件都有其特定的配置选项，以适应不同的目标和需求。以下是一些常见的 Logstash output 插件及其配置示例：

  • Elasticsearch Output 插件：用于将事件发送到 Elasticsearch 集群。

    output {elasticsearch {hosts => ["http://localhost:9200"]index => "my_index"}
}

  • File Output 插件：用于将事件写入本地文件。

    output {file {path => "/path/to/output/file.txt"}
}

  • Kafka Output 插件：用于将事件发送到 Apache Kafka 主题。

    rubyCopy code
output {kafka {topic_id => "my_topic"bootstrap_servers => "kafka-server:9092"}
}

    ​

Kibana

功能介绍

通过 Kibana，您可以对自己的 Elasticsearch 进行可视化，也可以通过插件的方式查看es

安装步骤

1）官网下载：https://www.elastic.co/cn/products/kibana

2）解压 tar -zxvf kibana-7.5.1-darwin-x86_64.tar.gz

3）修改配置，vi config/kibana.yml 命令，编辑 Kibana 配置文件

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
kibana.index: ".kibana"

4）启动Kibana：nohup bin/kibana & 命令，后台启动 Kibana 服务。

nohup bin/kibana &nohup ./kibana &ps aux | grep kibana

5）测试：访问 http://10.1.61.122:5601/ 地址，查看 Kibana 是否启动成功

这篇关于ELFK日志采 - QuickStart的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/685111。

相关文章

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0
阅读更多...
我在移动打工的日志

我在移动打工的日志

客户：给我搞一下录音 我：不会。不在服务范围。 客户：是不想吧 我：笑嘻嘻（气笑） 客户：小姑娘明明会，却欺负老人 我：笑嘻嘻 客户：那我交话费 我：手机号 客户：给我搞录音 我：不会。不懂。没搞过。 客户：那我交话费 我：手机号。这是电信的啊！！我这是中国移动！！ 客户：我不管，我要充话费，充话费是你们的 我：可是这是移动！！中国移动！！ 客户：我这是手机号 我：那又如何，这是移动！你是电信！！
阅读更多...
Detectorn2预训练模型复现：数据准备、训练命令、日志分析与输出目录

Detectorn2预训练模型复现：数据准备、训练命令、日志分析与输出目录

Detectorn2预训练模型复现：数据准备、训练命令、日志分析与输出目录 在深度学习项目中，目标检测是一项重要的任务。本文将详细介绍如何使用Detectron2进行目标检测模型的复现训练，涵盖训练数据准备、训练命令、训练日志分析、训练指标以及训练输出目录的各个文件及其作用。特别地，我们将演示在训练过程中出现中断后，如何使用 resume 功能继续训练，并将我们复现的模型与Model Zoo中的
阅读更多...
SSM项目使用AOP技术进行日志记录

SSM项目使用AOP技术进行日志记录

本步骤只记录完成切面所需的必要代码 本人开发中遇到的问题： 切面一直切不进去，最后发现需要在springMVC的核心配置文件中中开启注解驱动才可以，只在spring的核心配置文件中开启是不会在web项目中生效的。 之后按照下面的代码进行配置，然后前端在访问controller层中的路径时即可观察到日志已经被正常记录到数据库，代码中有部分注释，看不懂的可以参照注释。接下来进入正题 1、导入m
阅读更多...
多数据源的事务处理总是打印很多无用的log日志

多数据源的事务处理总是打印很多无用的log日志

之前做了一个项目，需要用到多数据源以及事务处理，在使用事务处理，服务器总是打印很多关于事务处理的log日志（com.atomikos.logging.Slf4jLogger），但是我们根本不会用到这些log日志，反而使得查询一些有用的log日志变得困难。那要如何屏蔽这些log日志呢？ 之前的项目是提高项目打印log日志的级别，后来觉得这样治标不治本。 现在有一个更好的方法： 我使用的是log
阅读更多...
android两种日志获取log4j

android两种日志获取log4j

android   log4j 加载日志使用方法； 先上图： 有两种方式： 1：直接使用架包 加载（两个都要使用）； 架包：android-logging-log4j-1.0.3.jar 、log4j-1.2.15.jar  （说明：也可以使用架包：log4j-1.2.17.jar）  2：对架包输入日志的二次封装使用； 1:直接使用 log4j 日志框架获取日志信息： A:配置 日志 文
阅读更多...
Unity Post Process Unity后处理学习日志

Unity Post Process Unity后处理学习日志

Unity Post Process Unity后处理学习日志 在现代游戏开发中，后处理（Post Processing）技术已经成为提升游戏画面质量的关键工具。Unity的后处理栈（Post Processing Stack）是一个强大的插件，它允许开发者为游戏场景添加各种视觉效果，如景深、色彩校正、辉光、模糊等。这些效果不仅能够增强游戏的视觉吸引力，还能帮助传达特定的情感和氛围。 文档
阅读更多...
机械学习—零基础学习日志（概率论总笔记5）

机械学习—零基础学习日志（概率论总笔记5）

引言——“黑天鹅” 要获得95%以上置信度的统计结果，需要被统计的对象出现上千次，但是如果整个样本只有几千字，被统计的对象能出现几次就不错了。这样得到的数据可能和真实的概率相差很远。怎么避免“黑天鹅”？ 古德-图灵折扣估计法 在词语统计中，有点词语虽然是出现0次，但是实际的出现概率并不是永远不可能的零。 那需要把一些概率转移给到这些词语。 古德的做法实际上就是把出现1次的单词的总量，给了
阅读更多...
如何使用Selenium捕获控制台日志

如何使用Selenium捕获控制台日志

Selenium是一个流行的开源工具，用于自动化Web浏览器。其中一个关键功能是能够与浏览器的开发者控制台交互。本文将向您展示如何在Selenium中使用Java获取控制台日志。这些日志对于调试和解决Selenium脚本的问题非常有用。 如何查看任何网页的控制台日志 首先，打开浏览器的开发者控制台。在大多数浏览器中，您可以通过右键点击页面并选择“检查”来做到这一点。我们将在我们的测试网站——h
阅读更多...
ELK+Spring Cloud搭建分布式日志中心

ELK+Spring Cloud搭建分布式日志中心

ELK+Spring Cloud搭建分布式日志中心 1.ELK简介2.资源包下载3.Elasticsearch安装3.1 解压Elasticsearch3.2 修改Elasticsearch的配置文件3.3 修改系统配置3.4 启动Elasticsearch 4.ElasticSearch-head插件安装5.Logstash安装6.Kibana安装7.SpringCloud集成logsta
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2