Elastic Stack--ELFK实例与Dashboard界面

2024-08-31 16:36

本文主要是介绍Elastic Stack--ELFK实例与Dashboard界面,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 前言:本博客仅作记录学习使用,部分图片出自网络,如有侵犯您的权益,请联系删除

 学习B站博主教程笔记: 

最新版适合自学的ElasticStack全套视频(Elk零基础入门到精通教程)Linux运维必备—ElasticSearch+Logstash+Kibana精讲_哔哩哔哩_bilibiliicon-default.png?t=N7T8https://www.bilibili.com/video/BV1VMW3e6Ezk/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=e539f90574cdb0bc2bc30a8b5cb3fc00

一、ELFK实例

实例架构图如下:

 完成以下内容:(1)收集nginx日志,写入ES集群,分片数量为3,副本数量为0,索引名称为"cluster-linux-nginx";(2)收集tomcat日志,写入ES集群,分片数量为5,副本数量为0,索引名称为"cluster-linux-tomcat";(3)收集app日志,写入ES集群,分片数量为10,副本数量为0,索引名称为"cluster-linux-app";(4)分析出nginx,tomcat的客户端IP所属城市,访问时使用的设备类型等

(1)创建好索引模板:

cluster-linux-nginx模板:

cluster-linux-tomcat模板:

cluster-linux-app模板:

(2)收集nginx日志

many-to-logstash.yml

 filebeat.inputs:- type: logpaths: - /var/log/nginx/access.log*json.keys_under_root: true​output.logstash:hosts: ["192.168.1.10:8888"]

(3)收集tomcat日志

 filebeat.inputs:- type: logpaths: - /root/software/apache-tomcat-10.1.28/logs/*.txtjson.keys_under_root: true​output.logstash:hosts: ["192.168.1.10:7777"]

(4)收集app日志

(5)logstash收集日志

beats-to-es.conf:

 input {beats {type => "nginx"port => 8888}​beats {type => "tomcat"port => 7777}}filter {mutate {remove_field => ["tags","log","agent","@version","input","ecs"]}if ["type"] == ["nginx"] {geoip {source => "clientip"target => "cluster-linux-geoip"}useragent {source => "http_user_agent"target => "cluster-linux-useragent"}}​if ["type"] == ["tomcat"] {geoip {source => "clientip"target => "cluster-linux-geoip"}useragent {source => "AgentVersion"target => "cluster-linux-useragent"}}}output {stdout{}if ["type"] == ["nginx"] {elasticsearch {hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]index => "cluster-linux-nginx"}}if ["type"] == ["nginx"] {elasticsearch {hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]index => "cluster-linux-tomcat"}}}

二、kibana自定义dashboard实战案例

1.统计PV(指标)

 Page View(简称:"PV")页面访问或点击量。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)新建可视化(4)基于聚合(5)指标(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中选择:聚合: 计数定制标签: PV

2.统计客户端IP(指标)

 客户端IP:通常指的是访问Web服务器的客户端IP地址,但要注意,客户端IP数量并不难代表UV。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)指标(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中选择:聚合: 唯一计数字段: clientip.keyword定制标签: IP

3.统计web下载带宽(指标)

 带宽:统计nginx返回给客户端文件大小的字段进行累计求和。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)指标(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中选择:聚合: 求和字段: SendBytes定制标签: 带宽

4.访问页面统计(水平条形图)

 访问资源统计:对URI的访问次数统计。​kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)水平条形图(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数定制标签: 访问量(8)添加"存储痛",选择"X"轴聚合: 词字段: uri.keyword...定制标签: URI

5.分析客户端的城市分布(垂直条形图)

 分析客户端的城市分布:需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。​kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)垂直条形图(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数定制标签: 城市分布(8)添加"存储痛",选择"X"轴聚合: 词字段: oldboyedu-linux80-nginx.city_name.keyword...定制标签: 城市名称

6.城市分布百分比(饼图)

分析客户端的城市分布:需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)饼图(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数定制标签: 城市分布(8)添加"存储痛",选择"X"轴聚合: 词字段: oldboyedu-linux80-nginx.city_name.keyword...定制标签: 城市名称

7.IP的TopN统计(仪表盘)

IP的TopN统计:统计访问量的客户端IP最大的是谁。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)仪表盘(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数(8)添加"存储痛",选择"X"轴聚合: 词字段: client.keyword顺序: 降序大小: 3...

8.自定义dashboard

kibana界面鼠标依次点击如下:(1)菜单栏;(2)Dashboard(3)创建仪表盘(4)从可视化库中添加即可。

这篇关于Elastic Stack--ELFK实例与Dashboard界面的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1124426

相关文章

springboot security验证码的登录实例

《springbootsecurity验证码的登录实例》:本文主要介绍springbootsecurity验证码的登录实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录前言代码示例引入依赖定义验证码生成器定义获取验证码及认证接口测试获取验证码登录总结前言在spring

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

python+opencv处理颜色之将目标颜色转换实例代码

《python+opencv处理颜色之将目标颜色转换实例代码》OpenCV是一个的跨平台计算机视觉库,可以运行在Linux、Windows和MacOS操作系统上,:本文主要介绍python+ope... 目录下面是代码+ 效果 + 解释转HSV: 关于颜色总是要转HSV的掩膜再标注总结 目标:将红色的部分滤

Spring 中使用反射创建 Bean 实例的几种方式

《Spring中使用反射创建Bean实例的几种方式》文章介绍了在Spring框架中如何使用反射来创建Bean实例,包括使用Class.newInstance()、Constructor.newI... 目录1. 使用 Class.newInstance() (仅限无参构造函数):2. 使用 Construc

MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析

《MyBatis-Plus中Service接口的lambdaUpdate用法及实例分析》本文将详细讲解MyBatis-Plus中的lambdaUpdate用法,并提供丰富的案例来帮助读者更好地理解和应... 目录深入探索MyBATis-Plus中Service接口的lambdaUpdate用法及示例案例背景

MyBatis-Plus中静态工具Db的多种用法及实例分析

《MyBatis-Plus中静态工具Db的多种用法及实例分析》本文将详细讲解MyBatis-Plus中静态工具Db的各种用法,并结合具体案例进行演示和说明,具有很好的参考价值,希望对大家有所帮助,如有... 目录MyBATis-Plus中静态工具Db的多种用法及实例案例背景使用静态工具Db进行数据库操作插入

Spring中@Lazy注解的使用技巧与实例解析

《Spring中@Lazy注解的使用技巧与实例解析》@Lazy注解在Spring框架中用于延迟Bean的初始化,优化应用启动性能,它不仅适用于@Bean和@Component,还可以用于注入点,通过将... 目录一、@Lazy注解的作用(一)延迟Bean的初始化(二)与@Autowired结合使用二、实例解

前端原生js实现拖拽排课效果实例

《前端原生js实现拖拽排课效果实例》:本文主要介绍如何实现一个简单的课程表拖拽功能,通过HTML、CSS和JavaScript的配合,我们实现了课程项的拖拽、放置和显示功能,文中通过实例代码介绍的... 目录1. 效果展示2. 效果分析2.1 关键点2.2 实现方法3. 代码实现3.1 html部分3.2

mysqld_multi在Linux服务器上运行多个MySQL实例

《mysqld_multi在Linux服务器上运行多个MySQL实例》在Linux系统上使用mysqld_multi来启动和管理多个MySQL实例是一种常见的做法,这种方式允许你在同一台机器上运行多个... 目录1. 安装mysql2. 配置文件示例配置文件3. 创建数据目录4. 启动和管理实例启动所有实例

Java function函数式接口的使用方法与实例

《Javafunction函数式接口的使用方法与实例》:本文主要介绍Javafunction函数式接口的使用方法与实例,函数式接口如一支未完成的诗篇,用Lambda表达式作韵脚,将代码的机械美感... 目录引言-当代码遇见诗性一、函数式接口的生物学解构1.1 函数式接口的基因密码1.2 六大核心接口的形态学