Beats与Logstash与Kibana知识概括

Beats

Beats简介：

• 轻量型数据采集器：Beats平台集合了多种单一用途数据采集器。它们从成百上千或成千上万台机
  器和系统向Logstash 或 Elasticsearch发送数据。
• Beats 系列：全品类采集器，搞定所有数据类型。
  ①Filebeat：日志文件
  ②Metricbeat：指标
  ③Packetbeat：网络数据
  ④winlogbeat：windows事件日志
  ⑤Auditbeat：审计数据
  ⑥Heartbeat：运行时间监控”
  ⑦Functionbeat：无需服务器的采集器

Filebeat

Filebeat简介：

• 轻量型日志采集器：当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别SSH吧。Filebeat将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。
• 汇总、“tail -f’和搜索：启动Filebeat后，打开Logs Ul，直接在Kibana中观看对您的文件进行tail 操作的过程。通过搜索栏按照服务、应用程序、主机、数据中心或者其他条件进行筛选，以跟踪您的全部汇总日志中的异常行为。
• 架构：用于监控、收集服务器日志文件。
  

部署与运行：

• 链接：版本为：filebeat-6.5.4

mkdir /itcast/beats 
tar -xvf filebeat-6.5.4-linux-x86_64.tar.gz 
cd filebeat-6.5.4-linux-x86_64 #创建如下配置文件 itcast.yml 
filebeat.inputs: 
- type: stdin enabled: true 
setup.template.settings: index.number_of_shards: 3 
output.console: pretty: true enable: true #启动filebeat 
./filebeat -e -c itcast.yml #输入hello运行结果如下： 
hello 

• 结果：

{ "@timestamp": "2019-01-12T12:50:03.585Z", "@metadata": { #元数据信息 "beat": "filebeat", "type": "doc", "version": "6.5.4" },"source": "", "offset": 0, "message": "hello", #输入的内容 "prospector": { #标准输入勘探器 "type": "stdin" },"input": { #控制台标准输入 "type": "stdin" },"beat": { #beat版本以及主机信息 "name": "itcast01", "hostname": "itcast01", "version": "6.5.4" },"host": { "name": "itcast01" } 
}

读取文件：

#配置读取文件项 itcast-log.yml filebeat.inputs: 
- type: log enabled: true paths: - /itcast/beats/logs/*.log 
setup.template.settings: index.number_of_shards: 3 
output.console: pretty: true enable: true #启动filebeat 
./filebeat -e -c itcast-log.yml #/haoke/beats/logs下创建a.log文件，并输入如下内容 
hello 
world #观察filebeat输出 
{ "@timestamp": "2019-01-12T14:16:10.192Z","@metadata": { "beat": "filebeat", "type": "doc", "version": "6.5.4" },"host": { "name": "itcast01" },"source": "/haoke/beats/logs/a.log", "offset": 0, "message": "hello", "prospector": { "type": "log" },"input": { "type": "log" },"beat": { "version": "6.5.4", "name": "itcast01","hostname": "itcast01" } 
}
{ "@timestamp": "2019-01-12T14:16:10.192Z", "@metadata": { "beat": "filebeat", "type": "doc", "version": "6.5.4" },"prospector": { "type": "log" },"input": { "type": "log" },"beat": { "version": "6.5.4", "name": "itcast01", "hostname": "itcast01" },"host": { "name": "itcast01" },"source": "/haoke/beats/logs/a.log", "offset": 6, "message": "world" 
}

• 可以看出，已经检测到日志文件有更新，立刻就会读取到更新的内容，并且输出到控制台。

自定义字段：

#配置读取文件项 itcast-log.yml 
filebeat.inputs: 
- type: log enabled: true paths: - /itcast/beats/logs/*.log tags: ["web"] #添加自定义tag，便于后续的处理 fields: #添加自定义字段 from: itcast-im fields_under_root: true #true为添加到根节点，false为添加到子节点中 
setup.template.settings: index.number_of_shards: 3 
output.console: pretty: true enable: true #启动filebeat 
./filebeat -e -c itcast-log.yml #/haoke/beats/logs下创建a.log文件，并输入如下内容 
123 #执行效果 
{ "@timestamp": "2019-01-12T14:37:19.845Z", "@metadata": { "beat": "filebeat", "type": "doc", "version": "6.5.4" },"offset": 0, "tags": [ "haoke-im" ],"prospector": { "type": "log" },"beat": { "name": "itcast01", "hostnam