Logstash中grok filter example例子

2024-06-07 13:38

本文主要是介绍Logstash中grok filter example例子,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

title: Logstash中grok filter example例子

date: 2017-02-28

tags: 大数据


一、Logstash

本文适合有部分Logstash经验的人阅读,如果不懂Logstash是什么,请多加google,后面我会继续整理的

1、filters

Logstash核心组成部分就包括filters,这是个过滤器。一般日志中还是有很多有用信息的,利用Logstash的filter机制可以将这些信息抽取出来

1)、JSON Filter

​ 这种方式对于日志数据源是json格式的比较有效,这里我不多讲,一般人日志不会特意弄成json格式的吧…

2)、Grok Filter
这种方式是我今天重点记录的,Grok是一种数据格式化工具,利用它就可以进行定制我们的格式化请求了。

​ 我们先来看一段实例:

input {stdin{}}
filter{grok {match => {"message"=>"20%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day} %{HOUR:hour}:?%{MINUTE:minutes}(?::?%{SECOND:second}) \[%{LOGLEVEL:level}\] appname._log%{NAGIOSTIME:linenumber}: (.*)"}
}
}
output {stdout{}}

​ input和output我省略了,这段代码重点看的是filter部分。其实就是一些类似正则表达式的东西,然后去匹配我们的log,然后转成一个个json,然后发给output,output我设置的es。

看了上面的匹配例子,大概心里有个底,长什么样子,下面来解析
  • 牢记,每一个小表达式的样子就是%{IP:client}这种

    辣么IP是什么?client是什么?IP是一种模式的名称,能够自动去匹配你log中的部分,这里IP顾名思义,看到了ip地址如127.0.0.1就会给这一条log起个key值,key是client,所以json里面就会多一条数据,多一条client=>127.0.0.1这样的

  • 现有的模式我去哪里找?

    这个问题问得比较好,官方其实是支持很多的,让我们来看看支持列表点击这里

    上面的这个是Logstash1.4.2支持的,为什么没有新版的呢???这个问题下面回答

  • 为什么没有新版的Logstash支持的patterns

    在新版本的logstash里面,pattern目录已经为空,最后一个commit提示core patterns将会由logstash-patterns-core gem来提供,该目录可供用户存放自定义patterns,啥意思?也就是说用户可以自定义一些pattern然后保存在本地

  • 怎么自定义

    这里先留着,官方文档有,以后补充

  • 这么麻烦,还有没有现成的?

    答案是有,很多人帮你封装好了,地址在这里 ,这个是别人整理好的一些pattern,你可以按照他的安装方法,然后直接调用,里面有一些非常实用的表达式,比如可以直接解析tomcat打印出来的日志,直接一个表达式就搞定TOMCATLOG

下面我们来看一下grok的实例
  1. 我有一段thinkphp这样的日志:

    2016-12-19 14:36:26,298 [INFO] appname._log[95]: send sms use channel :6 
    2016-12-19 14:36:26,338 [INFO] appname._log[95]: send email use channel :4 
    2016-12-19 14:36:26,498 [INFO] appname._log[95]: send email use channel :6  

    首先要分析一下日志结构,才能写出相应的解析代码

    日志结构:日期+[日志级别]+appname._log[行号]:详情

    日期用年月日表示20%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day} %{HOUR:hour}:?%{MINUTE:minutes}(?::?%{SECOND:second})

    日志级别:%{LOGLEVEL:level}

    详情: (.*) 直接这个表达式搞定

    其他特殊符号:比如说逗号,- 号等,我们可以原样写出即可,部分可能需要转义

    所以整体上面是这样的

    match => {"message"=>"20%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day} %{HOUR:hour}:?%{MINUTE:minutes}(?::?%{SECOND:second}) \[%{LOGLEVEL:level}\] appname._log%{NAGIOSTIME:linenumber}: (.*)"}
  2. 我有一段tomcat的日志

    2016-12-28 14:55:05,062 INFO |XmlWebApplicationContext                |Closing Root WebApplicationContext: startup date [Wed Dec 28 14:46:44 CST 2016]; root of context hierarchy
    2016-12-28 14:55:06,062 INFO |XmlWebApplicationContext                |Closing Root WebApplicationContext: startup date [Wed Dec 28 14:46:44 CST 2016]; root of context hierarchy
    2016-12-28 14:55:07,062 INFO |XmlWebApplicationContext                |Closing Root WebApplicationContext: startup date [Wed Dec 28 14:46:44 CST 2016]; root of context hierarchy
    2016-12-28 14:55:08,062 INFO |XmlWebApplicationContext                |Closing Root WebApplicationContext: startup date [Wed Dec 28 14:46:44 CST 2016]; root of context hierarchy
    

    同样分析结构,如果安装了上面说的那个插件的话,就可以直接match => {"message" => "%{TOMCATLOG}"}这样一句话搞定,

  3. 我有一段nginx的日志

    55.3.244.1 GET /index.html 15824 0.043

    表达式可以像下面那样写

    %{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}
  4. 验证你写的表达式是否正确

    可以到这个验证网站验证一下你写的是否正确

这篇关于Logstash中grok filter example例子的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1039335

相关文章

JavaFX环境的搭建和一个简单的例子

之前在网上搜了很多与javaFX相关的资料,都说要在Eclepse上要安装sdk插件什么的,反正就是乱七八糟的一大片,最后还是没搞成功,所以我在这里写下我搭建javaFX成功的环境给大家做一个参考吧。希望能帮助到你们! 1.首先要保证你的jdk版本能够支持JavaFX的开发,jdk-7u25版本以上的都能支持,最好安装jdk8吧,因为jdk8对支持JavaFX有新的特性了,比如:3D等;

javaScript日期相加减例子

当前时间加上2天 var d = new Date(“2015-7-31”); d.setDate(d.getDate()+2); var addTwo=d.getFullYear()+”年”+(d.getMonth()+1)+”月”+d.getDate()+”日”; “控制台输出===============”+”当前日期加2天:”+addTwo; 使用这种方法,月份也会给你计算.

设计模式大全和详解,含Python代码例子

若有不理解,可以问一下这几个免费的AI网站 https://ai-to.cn/chathttp://m6z.cn/6arKdNhttp://m6z.cn/6b1quhhttp://m6z.cn/6wVAQGhttp://m6z.cn/63vlPw 下面是设计模式的简要介绍和 Python 代码示例,涵盖主要的创建型、结构型和行为型模式。 一、创建型模式 1. 单例模式 (Singleton

Hbase Filter+Scan 查询效率优化

Hbase Filter+Scan 查询效率问题 众所周知,Hbase利用filter过滤器查询时候会进行全表扫描,查询效率低下,如果没有二级索引,在项目中很多情况需要利用filter,下面针对这种情况尝试了几种优化的方案,仅供参考,欢迎交流。 根据业务要求,作者需要根据时间范围搜索所需要的数据,所以作者设计的rowKey是以时间戳为起始字符串的。 正确尝试: 1.scan 设置 开始行和结

JSP 简单表单显示例子

<html><!--http://localhost:8080/test_jsp/input.html --><head><meta http-equiv="Content-Type" content="text/HTML; charset=utf-8"><title>input页面</title></head><body><form action="input.jsp" method

shell循环sleep while例子 条件判断

i=1# 小于5等于时候才执行while [ ${i} -le 5 ]doecho ${i}i=`expr ${i} + 1`# 休眠3秒sleep 3doneecho done 参考 http://c.biancheng.net/cpp/view/2736.html

Filter基本原理和使用

https://www.cnblogs.com/xdp-gacl/p/3948353.html 一、Filter简介   Filter也称之为过滤器,它是Servlet技术中最激动人心的技术,WEB开发人员通过Filter技术,对web服务器管理的所有web资源:例如Jsp, Servlet, 静态图片文件或静态 html 文件等进行拦截,从而实现一些特殊的功能。例如实现URL级别的权限访问控

【ReactJS】通过一个例子学习React组件的生命周期

源代码 <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="ie=edge"><title>Reac

简单的android Listview使用例子

为了熟悉Listview的使用,做了一个小例子联系一下, 主要步骤: 1. 在MainActivity中,创建一个adapter对象(可以是android自带的ArrayAdapter,也可以是自定义的如SongAdapter) 2. 如果自定义,就要创建ListView的子项,如song_listview_item.xml 3. 创建ListView对象,并用setAdapter方法把a

【 python pymongo】使用pymongo的例子

MongoDB优点 MongoDB是一个为当代web应用而生的noSQL数据库,它有如下优点: 1、文档型存储。可以把关系型数据库的表理解为一个电子表格,列表示字段,每行的记录其实是按照列的字段顺序排列的值得元组。而存储在MongoDB中的文档被存储为键-值对的形式,值却可以是任意类型且可以嵌套。之前在用关系型数据库的时候,我们把产品信息打散到不同的表中,要通过关系表或者使用join拼接成复杂