本文主要是介绍使用filebeat采集文件到es中，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
继上一篇logstash采集日志。
之前用logstash做日志采集，但是发现logstash很占用机器资源导致机器运行有点慢。查询资料表明logstash使用Java编写，插件是使用jruby编写，对机器的资源要求会比较高，网上有一篇关于其性能测试的报告。之前做过和filebeat的测试对比。在采集日志方面，对CPU，内存上都要比前者高很多。那么果断使用filebeat作为替代方案。走起！
1.下载安装
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.3-windows-x86_64.zip，（选择版本一定要和es一致，否则会有问题）
2.采集某个文件到es中
进入主目录,可以看到filebeat.yml 文件，我们备份一下。然后编辑filebeat.yml文件（将此文件内容清空，重新编辑）。
yml文件格式要求严格缩进
filebeat.inputs:- type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取paths:- F:/test/service-thymeleaf.log # 这里也可用通配符采集多个文件如F:/test/*.logoutput.elasticsearch:hosts: ["localhost:9200"]
在主目录下命令行执行 filebeat.exe -e -c filebeat.yml,观察es的索引多了filebeat-日期格式样式的索引。
这个自动生成的索引名称看着别扭，我们自己修改。日期后缀每天新建一个索引。setup.template.name setup.template.pattern 两项的值可以随意起
filebeat.inputs:- type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取paths:- F:/test/service-thymeleaf.logsetup.template.name: "my-log"
setup.template.pattern: "my-log-*"output.elasticsearch:hosts: ["localhost:9200"]index: "service-thymeleaf-%{+yyyy.MM.dd}"
采集java多行日志合并
filebeat.inputs:- type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取paths:- F:/test/service-thymeleaf.logmultiline.pattern: '^\d{4}\-\d{2}\-\d{2}\s\d{2}:\d{2}:\d{2}' #匹配的正则 不是以2019-09-08 12:23:23 格式开头的将合并到上一行multiline.negate: true #多行匹配模式后配置的模式是否取反，默认falsemultiline.match: after #定义多行内容被添加到模式匹配行之后还是之前，默认无，可以被设置为after或者beforesetup.template.name: "my-log"
setup.template.pattern: "my-log-*"output.elasticsearch:hosts: ["localhost:9200"]index: "service-thymeleaf-%{+yyyy.MM.dd}"
采集多个文件到不同的索引
例如将a.log 采集到a-2019-09-09索引，b.log 采集到b-2019-09-09索引
filebeat.inputs:- type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取paths:- F:/test/service-thymeleaf.logmultiline.pattern: '^\d{4}\-\d{2}\-\d{2}\s\d{2}:\d{2}:\d{2}' #匹配的正则 不是以2019-09-08 12:23:23 格式开头的将合并到上一行multiline.negate: true #多行匹配模式后配置的模式是否取反，默认falsemultiline.match: after #定义多行内容被添加到模式匹配行之后还是之前，默认无，可以被设置为after或者beforefields:index: 'service-thymeleaf'- type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取paths:- F:/test/service-es.logmultiline.pattern: '^\d{4}\-\d{2}\-\d{2}\s\d{2}:\d{2}:\d{2}' #匹配的正则multiline.negate: true #多行匹配模式后配置的模式是否取反，默认falsemultiline.match: after #定义多行内容被添加到模式匹配行之后还是之前，默认无，可以被设置为after或者beforefields:index: 'service-es' setup.template.name: "my-log"
setup.template.pattern: "my-log-*"output.elasticsearch:hosts: ["localhost:9200"]indices:- index: "service-thymeleaf-%{+yyyy.MM.dd}"when.contains:fields:index: "service-thymeleaf"- index: "service-es-%{+yyyy.MM.dd}"when.contains:fields:index: "service-es"
如果想对采集的内容进行预处理(过滤等),比如从日志中提取某些字段filebeat不像logstash那么灵活需要借助es的pipeline，而此处主要是将@timestamps时间修改日志的时间（默认是采集的时间）
（1）在es中创建一个pipeline，timestamp-pipeline-id 是唯一的
PUT _ingest/pipeline/timestamp-pipeline-id
{"description": "timestamp pipeline","processors": [{"grok": {"field": "message","patterns": ["%{TIMESTAMP_ISO8601:timestamp} "]}},{"date": {"field": "timestamp","formats": ["yyyy-MM-dd HH:mm:ss.SSS"]},"remove": {"field": "timestamp"}}],"on_failure": [{"set": {"field": "_index","value": "failed-{{ _index }}"}}]
}
创建pipeline可以在es-head中执行
也可以在kibana中的开发工具执行
2.然后filebeat.yml中添加
pipeline: “timestamp-pipeline-id”
filebeat.inputs:- type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取paths:- F:/test/service-thymeleaf.logmultiline.pattern: '^\d{4}\-\d{2}\-\d{2}\s\d{2}:\d{2}:\d{2}' #匹配的正则multiline.negate: true #多行匹配模式后配置的模式是否取反，默认falsemultiline.match: after #定义多行内容被添加到模式匹配行之后还是之前，默认无，可以被设置为after或者beforefields:index: 'service-thymeleaf'- type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取paths:- F:/test/service-es.logmultiline.pattern: '^\d{4}\-\d{2}\-\d{2}\s\d{2}:\d{2}:\d{2}' #匹配的正则multiline.negate: true #多行匹配模式后配置的模式是否取反，默认falsemultiline.match: after #定义多行内容被添加到模式匹配行之后还是之前，默认无，可以被设置为after或者beforefields:index: 'service-es'setup.template.name: "my-log"
setup.template.pattern: "my-log-*"output.elasticsearch:hosts: ["localhost:9200"]indices:- index: "service-thymeleaf-%{+yyyy.MM.dd}"when.contains:fields:index: "service-thymeleaf"- index: "service-es-%{+yyyy.MM.dd}"when.contains:fields:index: "service-es"pipeline: "timestamp-pipeline-id"document_type: log #该type会被添加到type字段，对于输出到ES来说，这个输入时的type字段会被存储，默认logmax_retries: 3 #ES重试次数，默认3次，超过3次后，当前事件将被丢弃
如有问题，私信一起学习交流。
这篇关于使用filebeat采集文件到es中的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
