Elastic Stack--ELFK实例与Dashboard界面

2024-08-31 16:36

本文主要是介绍Elastic Stack--ELFK实例与Dashboard界面,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 前言:本博客仅作记录学习使用,部分图片出自网络,如有侵犯您的权益,请联系删除

 学习B站博主教程笔记: 

最新版适合自学的ElasticStack全套视频(Elk零基础入门到精通教程)Linux运维必备—ElasticSearch+Logstash+Kibana精讲_哔哩哔哩_bilibiliicon-default.png?t=N7T8https://www.bilibili.com/video/BV1VMW3e6Ezk/?spm_id_from=333.1007.tianma.1-1-1.click&vd_source=e539f90574cdb0bc2bc30a8b5cb3fc00

一、ELFK实例

实例架构图如下:

 完成以下内容:(1)收集nginx日志,写入ES集群,分片数量为3,副本数量为0,索引名称为"cluster-linux-nginx";(2)收集tomcat日志,写入ES集群,分片数量为5,副本数量为0,索引名称为"cluster-linux-tomcat";(3)收集app日志,写入ES集群,分片数量为10,副本数量为0,索引名称为"cluster-linux-app";(4)分析出nginx,tomcat的客户端IP所属城市,访问时使用的设备类型等

(1)创建好索引模板:

cluster-linux-nginx模板:

cluster-linux-tomcat模板:

cluster-linux-app模板:

(2)收集nginx日志

many-to-logstash.yml

 filebeat.inputs:- type: logpaths: - /var/log/nginx/access.log*json.keys_under_root: true​output.logstash:hosts: ["192.168.1.10:8888"]

(3)收集tomcat日志

 filebeat.inputs:- type: logpaths: - /root/software/apache-tomcat-10.1.28/logs/*.txtjson.keys_under_root: true​output.logstash:hosts: ["192.168.1.10:7777"]

(4)收集app日志

(5)logstash收集日志

beats-to-es.conf:

 input {beats {type => "nginx"port => 8888}​beats {type => "tomcat"port => 7777}}filter {mutate {remove_field => ["tags","log","agent","@version","input","ecs"]}if ["type"] == ["nginx"] {geoip {source => "clientip"target => "cluster-linux-geoip"}useragent {source => "http_user_agent"target => "cluster-linux-useragent"}}​if ["type"] == ["tomcat"] {geoip {source => "clientip"target => "cluster-linux-geoip"}useragent {source => "AgentVersion"target => "cluster-linux-useragent"}}}output {stdout{}if ["type"] == ["nginx"] {elasticsearch {hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]index => "cluster-linux-nginx"}}if ["type"] == ["nginx"] {elasticsearch {hosts => ["192.168.1.10:9200","192.168.1.11:9200","192.168.1.12:9200"]index => "cluster-linux-tomcat"}}}

二、kibana自定义dashboard实战案例

1.统计PV(指标)

 Page View(简称:"PV")页面访问或点击量。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)新建可视化(4)基于聚合(5)指标(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中选择:聚合: 计数定制标签: PV

2.统计客户端IP(指标)

 客户端IP:通常指的是访问Web服务器的客户端IP地址,但要注意,客户端IP数量并不难代表UV。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)指标(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中选择:聚合: 唯一计数字段: clientip.keyword定制标签: IP

3.统计web下载带宽(指标)

 带宽:统计nginx返回给客户端文件大小的字段进行累计求和。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)指标(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中选择:聚合: 求和字段: SendBytes定制标签: 带宽

4.访问页面统计(水平条形图)

 访问资源统计:对URI的访问次数统计。​kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)水平条形图(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数定制标签: 访问量(8)添加"存储痛",选择"X"轴聚合: 词字段: uri.keyword...定制标签: URI

5.分析客户端的城市分布(垂直条形图)

 分析客户端的城市分布:需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。​kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)垂直条形图(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数定制标签: 城市分布(8)添加"存储痛",选择"X"轴聚合: 词字段: oldboyedu-linux80-nginx.city_name.keyword...定制标签: 城市名称

6.城市分布百分比(饼图)

分析客户端的城市分布:需要借助logstash的filter插件的geoip实现对客户端的IP地址进行地域解析。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)饼图(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数定制标签: 城市分布(8)添加"存储痛",选择"X"轴聚合: 词字段: oldboyedu-linux80-nginx.city_name.keyword...定制标签: 城市名称

7.IP的TopN统计(仪表盘)

IP的TopN统计:统计访问量的客户端IP最大的是谁。kibana界面鼠标依次点击如下:(1)菜单栏;(2)Visualize Library(可视化库);(3)创建可视化(4)基于聚合(5)仪表盘(6)选择索引模式(例如"oldboyedu-linux80-nginx*")(7)指标栏中设置(即Y轴)聚合: 计数(8)添加"存储痛",选择"X"轴聚合: 词字段: client.keyword顺序: 降序大小: 3...

8.自定义dashboard

kibana界面鼠标依次点击如下:(1)菜单栏;(2)Dashboard(3)创建仪表盘(4)从可视化库中添加即可。

这篇关于Elastic Stack--ELFK实例与Dashboard界面的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1124426

相关文章

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

C++——stack、queue的实现及deque的介绍

目录 1.stack与queue的实现 1.1stack的实现  1.2 queue的实现 2.重温vector、list、stack、queue的介绍 2.1 STL标准库中stack和queue的底层结构  3.deque的简单介绍 3.1为什么选择deque作为stack和queue的底层默认容器  3.2 STL中对stack与queue的模拟实现 ①stack模拟实现

C++操作符重载实例(独立函数)

C++操作符重载实例,我们把坐标值CVector的加法进行重载,计算c3=c1+c2时,也就是计算x3=x1+x2,y3=y1+y2,今天我们以独立函数的方式重载操作符+(加号),以下是C++代码: c1802.cpp源代码: D:\YcjWork\CppTour>vim c1802.cpp #include <iostream>using namespace std;/*** 以独立函数

实例:如何统计当前主机的连接状态和连接数

统计当前主机的连接状态和连接数 在 Linux 中,可使用 ss 命令来查看主机的网络连接状态。以下是统计当前主机连接状态和连接主机数量的具体操作。 1. 统计当前主机的连接状态 使用 ss 命令结合 grep、cut、sort 和 uniq 命令来统计当前主机的 TCP 连接状态。 ss -nta | grep -v '^State' | cut -d " " -f 1 | sort |

Java Websocket实例【服务端与客户端实现全双工通讯】

Java Websocket实例【服务端与客户端实现全双工通讯】 现很多网站为了实现即时通讯,所用的技术都是轮询(polling)。轮询是在特定的的时间间隔(如每1秒),由浏览器对服务器发 出HTTP request,然后由服务器返回最新的数据给客服端的浏览器。这种传统的HTTP request 的模式带来很明显的缺点 – 浏 览器需要不断的向服务器发出请求,然而HTTP

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节,Flexus X实例的促销力度非常大,特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求,一定不要错过这个机会。赶紧去看看吧! 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体

一款支持同一个屏幕界面同时播放多个视频的视频播放软件

GridPlayer 是一款基于 VLC 的免费开源跨平台多视频同步播放工具,支持在一块屏幕上同时播放多个视频。其主要功能包括: 多视频播放:用户可以在一个窗口中同时播放任意数量的视频,数量仅受硬件性能限制。支持多种格式和流媒体:GridPlayer 支持所有由 VLC 支持的视频格式以及流媒体 URL(如 m3u8 链接)。自定义网格布局:用户可以配置播放器的网格布局,以适应不同的观看需求。硬

LLVM入门2:如何基于自己的代码生成IR-LLVM IR code generation实例介绍

概述 本节将通过一个简单的例子来介绍如何生成llvm IR,以Kaleidoscope IR中的例子为例,我们基于LLVM接口构建一个简单的编译器,实现简单的语句解析并转化为LLVM IR,生成对应的LLVM IR部分,代码如下,文件名为toy.cpp,先给出代码,后面会详细介绍每一步分代码: #include "llvm/ADT/APFloat.h"#include "llvm/ADT/S

OpenStack离线Train版安装系列—11.5实例使用-Cinder存储服务组件

本系列文章包含从OpenStack离线源制作到完成OpenStack安装的全部过程。 在本系列教程中使用的OpenStack的安装版本为第20个版本Train(简称T版本),2020年5月13日,OpenStack社区发布了第21个版本Ussuri(简称U版本)。 OpenStack部署系列文章 OpenStack Victoria版 安装部署系列教程 OpenStack Ussuri版

OpenStack实例操作选项解释:启动和停止instance实例

关于启动和停止OpenStack实例 如果你想要启动和停止OpenStack实例时,有四种方法可以考虑。 管理员可以暂停、挂起、搁置、停止OpenStack 的计算实例。但是这些方法之间有什么不同之处? 目录 关于启动和停止OpenStack实例1.暂停和取消暂停实例2.挂起和恢复实例3.搁置(废弃)实例和取消废弃实例4.停止(删除)实例 1.暂停和取消暂停实例