Elastic Stack（四）：filebeat介绍及安装

本文主要是介绍Elastic Stack（四）：filebeat介绍及安装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 filebeat介绍
- 1.1 filebeat和beat的关系
- 1.2 filebeat是什么
- 1.3 filebeat工作原理
- 1.4 传输方案
2 安装
- 2.1 filebeat-源码包安装8.1
- - 1、下载
  - 2、创建密钥库
  - 3、修改filebeat配置文件
  - - 修改filebeat配置文件（使用模块的配置）
  - 4、配置快速启动文件
  - - 注意
  - 5、在kibana中查看

1 filebeat介绍

1.1 filebeat和beat的关系

filebeat是Beats中的一员。
　　Beats是一个轻量级日志采集器，Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。

目前Beats包含六种工具：
1、Packetbeat：网络数据（收集网络流量数据）
2、Metricbeat：指标（收集系统、进程和文件系统级别的CPU和内存使用情况等数据）
3、Filebeat：日志文件（收集文件数据）
4、Winlogbeat：windows事件日志（收集Windows事件日志数据）
5、Auditbeat：审计数据（收集审计日志）
6、Heartbeat：运行时间监控（收集系统运行时的数据）

1.2 filebeat是什么

Filebeat是用于转发和收集日志数据的轻量级传送工具。Filebeat监视你指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash中。

Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

工作的流程图如下：
在这里插入图片描述
Filebeat 有两个主要组件：

harvester：一个harvester负责读取一个单个文件的内容。harvester逐行读取每个文件，并把这些内容发送到输出。每个文件启动一个harvester。
Input：一个input负责管理harvesters，并找到所有要读取的源。如果input类型是log，则input查找驱动器上与已定义的log日志路径匹配的所有文件，并为每个文件启动一个harvester。

1.3 filebeat工作原理

在任何环境下，应用程序都有停机的可能性。 Filebeat 读取并转发日志行，如果中断，则会记住所有事件恢复联机状态时所在位置。

Filebeat带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

FileBeat 不会让你的管道超负荷。FileBeat 如果是向 Logstash 传输数据，当 Logstash 忙于处理数据，会通知 FileBeat 放慢读取速度。一旦拥塞得到解决，FileBeat将恢复到原来的速度并继续传播。

Filebeat保持每个文件的状态，并经常刷新注册表文件中的磁盘状态。状态用于记住harvester正在读取的最后偏移量，并确保发送所有日志行。Filebeat将每个事件的传递状态存储在注册表文件中。所以它能保证事件至少传递一次到配置的输出，没有数据丢失

1.4 传输方案

output.elasticsearch
如果你希望使用 filebeat 直接向 elasticsearch 输出数据，需要配置 output.elasticsearch

output.elasticsearch:hosts: ["192.168.92.10:9200"]

output.logstash
如果使用filebeat向 logstash输出数据，然后由 logstash 再向elasticsearch 输出数据，需要配置 output.logstash。 logstash 和 filebeat 一起工作时，如果 logstash 忙于处理数据，会通知FileBeat放慢读取速度。一旦拥塞得到解决，FileBeat 将恢复到原来的速度并继续传播。这样，可以减少管道超负荷的情况。

output.logstash:hosts: ["192.168.40.180:5044"]

output.kafka
如果使用filebeat向kafka输出数据，然后由 logstash 作为消费者拉取kafka中的日志，并再向elasticsearch 输出数据，需要配置 output.logstash

output.kafka:enabled: truehosts: ["192.168.40.180:9092"]topic: elfk8stest

2 安装

2.1 filebeat-源码包安装8.1

1、下载

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.1ls
.0-linux-x86_64.tar.gz
tar xzvf filebeat-8.1.0-linux-x86_64.tar.gz
ln -s filebeat-8.1.0-linux-x86_64 filebeat

2、创建密钥库

cd /usr/local/filebeat
# 创建密钥库
./filebeat keystore create
# 添加密钥
./filebeat keystore add ES_PWD
# 回车后输入elastic的密码
./filebeat keystore list
# 删除密钥
./filebeat keystore remove ES_PWD

3、修改filebeat配置文件

vim /usr/local/filebeat/filebeat.ymlcat filebeat.yml
filebeat.inputs:- type: filestreamenabled: truepaths:- /var/log/*.log
#filebeat.config.modules:
#  path: ${path.config}/modules.d/*.yml
#  reload.enabled: true
output.elasticsearch:hosts: "https://192.168.92.10:9200"username: "elastic"password: "${ES_PWD}"ssl.verification_mode: none
setup.kibana:host: "https://192.168.92.10:5601"username: "elastic"password: "${ES_PWD}"#username: "kibana"#password: "zsnuTKfb_dE18YCbhTCa"  
# 下面的数据先不配置
processors:- add_host_metadata:when.not.contains.tags: forwarded- add_cloud_metadata: ~- add_docker_metadata: ~- add_kubernetes_metadata: ~

添加参数的原因：ssl.verification_mode: none
解决报错：
在这里插入图片描述

修改filebeat配置文件（使用模块的配置）

# 因为默认是不可用的，所以需要手动开启
./filebeat modules list
# 从安装目录中，启用一个或多个模块
./filebeat modules enable mysql# 在配置文件filebeat.yml 中设置
- module: nginxaccess:enabled: truevar.paths: ["/var/log/nginx/access.log*"]

4、配置快速启动文件

vi /usr/lib/systemd/system/filebeat.service[Unit]
Description=filebeat
After=network.target
[Service]
Type=simple
#LimitNOFILE=100000
#LimitNPROC=100000
Restart=no
ExecStart=/usr/local/filebeat/filebeat -c /usr/local/filebeat/filebeat.yml
PrivateTmp=true
[Install]
WantedBy=multi-user.target

注意

如果是ubuntu系统，glibc版本为2.35，启动filebeat则会报错：Fatal glibc error: rseq registration failed

# ubuntu查看glibc版本
ldd --version 
# GLIBC 2.35 为glibc的版本，版本是2.35
ldd (Ubuntu GLIBC 2.35-0ubuntu3.4) 2.35
Copyright (C) 2022 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.

解决：

# 在filebeat配置文件中添加如下内容：
vim filebeat.yml
# 
seccomp:default_action: allow
# 或者以下内容：
seccomp:default_action: errnosyscalls:- action: allownames:- accept- accept4- access- arch_prctl- bind- brk- chmod- chown- clock_gettime- clone- clone3- close- connect- dup- dup2- epoll_create- epoll_create1- epoll_ctl- epoll_pwait- epoll_wait- exit- exit_group- fchdir- fchmod- fchmodat- fchown- fchownat- fcntl- fdatasync- flock- fstat- fstatfs- fsync- ftruncate- futex- getcwd- getdents- getdents64- geteuid- getgid- getpeername- getpid- getppid- getrandom- getrlimit- getrusage- getsockname- getsockopt- gettid- gettimeofday- getuid- inotify_add_watch- inotify_init1- inotify_rm_watch- ioctl- kill- listen- lseek- lstat- madvise- mincore- mkdirat- mmap- mprotect- munmap- nanosleep- newfstatat- open- openat- pipe- pipe2- poll- ppoll- pread64- pselect6- pwrite64- read- readlink- readlinkat- recvfrom- recvmmsg- recvmsg- rename- renameat- rseq- rt_sigaction- rt_sigprocmask- rt_sigreturn- sched_getaffinity- sched_yield- sendfile- sendmmsg- sendmsg- sendto- set_robust_list- setitimer- setsockopt- shutdown- sigaltstack- socket- splice- stat- statfs- sysinfo- tgkill- time- tkill- uname- unlink- unlinkat- wait4- waitid- write- writev