本文主要是介绍Win10 十分钟搭建ELK6.3,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本教程的目的是为了没有学过elk,但想体验elk的魅力的人准备的。可以在先不了解ELK Stack的情况下,咱们先学会骑自行车再去了解自行车的原理,就会简单很多。
如果有人对本教程感兴趣的话,后期本人想在单独开些模块,让人快速掌握elasticsearch语法和logstash的配置说明。让更多人少走点弯路。
Elasticsearch: Elasticsearch 是一个分布式的RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心,它集中存储您的数据(它就是一个数据库,有自己查询语法和存储方式)
Kibana :让您能够可视化 Elasticsearch中的数据并操作 Elastic Stack
Logstash:开源的服务器端数据处理管道,能够同时 从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中
Packetbeat: Packetbeat 是一款轻量型网络数据包分析器,能够将数据发送至 Logstash 或 Elasticsearch。
架构图:
安装步骤
下载Elasticsearch、Kibana、Logstash、Packetbeat 下载同一版本6.3.0,因为不同版本可能会导致不兼容
分别配置好他们各自的config配置(一般Elasticsearch、Kibana默认就好)
启动elasticsearch.bat
启动kibana.bat
启动elasticsearch 另一台:
bin/elasticsearch-Ecluster.name=sniff_search -Ehttp.port=8200 -Epath.data=sniff
启动Kibana另一台:
bin/kibana -e http://127.0.0.1:8200 -p 8601
注意:监控的集群是9200端口和5601 不能是一个集群,否则会进入抓包死循环
其中logstash的config文件如下:beats_es.conf
input {
beats {
port => 5044
}
}
filter {
if "search" in [request]{
grok {
match => { "request" =>".*\n\{(?<query_body>.*)"}
}
grok {
match => { "path" =>"\/(?<index>.*)\/_search"}
}
if [index] {
} else {
mutate {
add_field => { "index" => "All"}
}
}
mutate {
update => { "query_body" =>"{%{query_body}"}}
}
}
output {
if"search" in [request]{
elasticsearch {
hosts =>"127.0.0.1:8200"
}
}
}
packetbeat的packetbeat.yml如下:
packetbeat.interfaces.device: 3
packetbeat.protocols.http:
ports: [9200]
send_request: true
include_body_for: ["application/json","x-www-form-urlencoded"]
output.logstash:
hosts:["127.0.0.1:5044"]
之后启动logstash,其中beats_es.conf是上面配置的文件
logstash -f beats_es.conf
启动packetbeat
packetbeat.exe -e -c packetbeat.yml-strict.perms=false
如果启动不成功:
--查看网口
packetbeat.exe devices
window有可能检测不到回环网口
Packetbeat is unable to capture trafficfrom the loopback device (127.0.0.1 traffic) because the Windows TCP/IP stackdoes not implement a network loopback interface, making it difficult forWindows packet capture drivers like WinPcap to sniff traffic.
请下载:NPCAP
- Npcap 0.99-r7 installer for Windows Vista/2008, 7/2008R2, 8/2012, 8.1/2012R2, 10/2016 (x86 and x64).
安装的时候注意看有没有提示:因为必须要确保在WiPCAP API兼容模式下安装Npcap(/Win PopCopyMead=yes),否则Packetbeat将无法找到所需的DLL。安装NPCAP后,重新启动Windows。
如果有,请先卸载WiPCAP/10 WiPCAP,之后再安装岂可。
Kibana的使用
其中index就是数据库的意思
- 菜单Management,可以新建Create Index Pattern,对应到Elasticsearch 的index
- 菜单Discover,可以查看对index的请求情况,并且可以进行字段的检索
- 菜单Visualize,可以针对index新建不同图表分析,饼图、柱状图什么的
- 菜单Dashboard,可以针对Visualize,这些图放在dashboard上会”实时“刷新的。
参考文档
https://es.xiaoleilu.com es中文文档
这篇关于Win10 十分钟搭建ELK6.3的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!