Win10 十分钟搭建ELK6.3

2024-06-05 14:08
文章标签 搭建 win10 十分钟 elk6.3

本文主要是介绍Win10 十分钟搭建ELK6.3,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本教程的目的是为了没有学过elk,但想体验elk的魅力的人准备的。可以在先不了解ELK Stack的情况下,咱们先学会骑自行车再去了解自行车的原理,就会简单很多。

如果有人对本教程感兴趣的话,后期本人想在单独开些模块,让人快速掌握elasticsearch语法和logstash的配置说明。让更多人少走点弯路。

  

Elasticsearch: Elasticsearch 是一个分布式的RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心,它集中存储您的数据(它就是一个数据库,有自己查询语法和存储方式)

Kibana :让您能够可视化 Elasticsearch中的数据并操作 Elastic Stack

Logstash:开源的服务器端数据处理管道,能够同时 从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中

Packetbeat: Packetbeat 是一款轻量型网络数据包分析器,能够将数据发送至 Logstash 或 Elasticsearch。 

架构图:

 

 

安装步骤

下载Elasticsearch、Kibana、Logstash、Packetbeat 下载同一版本6.3.0,因为不同版本可能会导致不兼容

分别配置好他们各自的config配置(一般Elasticsearch、Kibana默认就好)

启动elasticsearch.bat

启动kibana.bat

启动elasticsearch  另一台:

bin/elasticsearch-Ecluster.name=sniff_search -Ehttp.port=8200 -Epath.data=sniff

启动Kibana另一台:

bin/kibana -e http://127.0.0.1:8200 -p 8601 

注意:监控的集群是9200端口和5601  不能是一个集群,否则会进入抓包死循环

其中logstash的config文件如下:beats_es.conf

input {

   beats {

       port => 5044

    }

}

filter {

   if "search" in [request]{

       grok {

           match => { "request" =>".*\n\{(?<query_body>.*)"}

       }

       grok {

           match => { "path" =>"\/(?<index>.*)\/_search"}    

       }

        if [index] {

     } else {

           mutate {

              add_field  => { "index" => "All"}

       }

     }

     mutate {

              update  => { "query_body" =>"{%{query_body}"}}

     }

}

 

output {

  if"search" in [request]{

       elasticsearch {

                hosts =>"127.0.0.1:8200"

       }

   }

}

 

packetbeat的packetbeat.yml如下:

packetbeat.interfaces.device: 3

 

packetbeat.protocols.http:

 ports: [9200]

 send_request: true  

 include_body_for: ["application/json","x-www-form-urlencoded"]

 

output.logstash:

hosts:["127.0.0.1:5044"]

 

 

之后启动logstash,其中beats_es.conf是上面配置的文件

logstash -f  beats_es.conf

启动packetbeat

packetbeat.exe -e -c packetbeat.yml-strict.perms=false

如果启动不成功:

--查看网口

packetbeat.exe devices

window有可能检测不到回环网口

Packetbeat is unable to capture trafficfrom the loopback device (127.0.0.1 traffic) because the Windows TCP/IP stackdoes not implement a network loopback interface, making it difficult forWindows packet capture drivers like WinPcap to sniff traffic.

 

请下载:NPCAP

  • Npcap 0.99-r7 installer for Windows Vista/2008, 7/2008R2, 8/2012, 8.1/2012R2, 10/2016 (x86 and x64).

 

安装的时候注意看有没有提示:因为必须要确保在WiPCAP API兼容模式下安装Npcap(/Win PopCopyMead=yes),否则Packetbeat将无法找到所需的DLL。安装NPCAP后,重新启动Windows。 

如果有,请先卸载WiPCAP/10 WiPCAP,之后再安装岂可。

 

Kibana的使用

其中index就是数据库的意思

  • 菜单Management,可以新建Create Index Pattern,对应到Elasticsearch index
  • 菜单Discover,可以查看对index的请求情况,并且可以进行字段的检索
  • 菜单Visualize,可以针对index新建不同图表分析,饼图、柱状图什么的
  • 菜单Dashboard,可以针对Visualize,这些图放在dashboard上会”实时“刷新的。 



参考文档

https://es.xiaoleilu.com   es中文文档

这篇关于Win10 十分钟搭建ELK6.3的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1033270

相关文章

5分钟获取deepseek api并搭建简易问答应用

《5分钟获取deepseekapi并搭建简易问答应用》本文主要介绍了5分钟获取deepseekapi并搭建简易问答应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1、获取api2、获取base_url和chat_model3、配置模型参数方法一:终端中临时将加

Mycat搭建分库分表方式

《Mycat搭建分库分表方式》文章介绍了如何使用分库分表架构来解决单表数据量过大带来的性能和存储容量限制的问题,通过在一对主从复制节点上配置数据源,并使用分片算法将数据分配到不同的数据库表中,可以有效... 目录分库分表解决的问题分库分表架构添加数据验证结果 总结分库分表解决的问题单表数据量过大带来的性能

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》:本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步

Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)

《Python基于火山引擎豆包大模型搭建QQ机器人详细教程(2024年最新)》:本文主要介绍Python基于火山引擎豆包大模型搭建QQ机器人详细的相关资料,包括开通模型、配置APIKEY鉴权和SD... 目录豆包大模型概述开通模型付费安装 SDK 环境配置 API KEY 鉴权Ark 模型接口Prompt

鸿蒙开发搭建flutter适配的开发环境

《鸿蒙开发搭建flutter适配的开发环境》文章详细介绍了在Windows系统上如何创建和运行鸿蒙Flutter项目,包括使用flutterdoctor检测环境、创建项目、编译HAP包以及在真机上运... 目录环境搭建创建运行项目打包项目总结环境搭建1.安装 DevEco Studio NEXT IDE

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站,手机流量可以访问IPV6网络的服务,为什么不在电脑搭建Home Assistant(hass),来控制你的设备呢?@智能家居 @万物互联

pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu 安装编译工具链下载sdk 和example编译example 安装编译工具链 sudo apt install cmake gcc-arm-none-eabi libnewlib-arm-none-eabi libstdc++-arm-none-eabi-newlib 注意cmake的版本,需要在3.17 以上 下载sdk 和ex

JavaFX环境的搭建和一个简单的例子

之前在网上搜了很多与javaFX相关的资料,都说要在Eclepse上要安装sdk插件什么的,反正就是乱七八糟的一大片,最后还是没搞成功,所以我在这里写下我搭建javaFX成功的环境给大家做一个参考吧。希望能帮助到你们! 1.首先要保证你的jdk版本能够支持JavaFX的开发,jdk-7u25版本以上的都能支持,最好安装jdk8吧,因为jdk8对支持JavaFX有新的特性了,比如:3D等;

springboot+maven搭建的项目,集成单元测试

springboot+maven搭建的项目,集成单元测试 1.在pom.xml文件中引入单元测试的依赖包 <!--单元测试依赖--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></depen