Logstash file插件

2024-05-04 08:32
文章标签 插件 file logstash

本文主要是介绍Logstash file插件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

注:本文基于file plugin v4.1.16版本

file插件

file插件主要用于从文件读取数据,比如我们收集系统上/var/log/目录下一些文件,我们可以用以下配置

input {file {path => ["/var/log/*.log", "/var/log/message"]type => "system"start_position => "beginning"}
}

其中,

  • path
    定义文件绝对路径,是个数组类型,可以定义多个输入文件,同时也可以使用通配符*。有一点需要注意的是,如果想要囊括/var/log下所有文件,包括子目录下的日志文件,可以通过以下方式,/var/log/**/*.log。通过两个通配符可以递归匹配所有目录下文件。

  • type
    为该input所处理的所有事件添加type字段,主要用于激活过滤器。因为也是事件本身一部分,因此kibana中也可以搜索该字段。

  • start_position
    指定logstash读取文件数据的起始位置,默认是结束位置,也就是以类似 tail -f 方式运行。如果要导入原有数据,需设置成 “beginning”。

除此之外,还有一些常用选项,

  • exclude
    和path用法一致,用于排除某些不想被监听的文件,一样支持*通配符。

  • discover_interval
    指定logstash检查被监听的path下是否有新文件的时间间隔,默认是15秒。

  • stat_interval
    指定logstash检查被监听文件是否有更新的时间间隔,默认是1秒。

  • sincedb_path
    Logstash使用FileWatch的Ruby Gem库来监听文件变化,这个库将被监听的日志文件的当前读取位置记录到.sincedb数据库文件中。默认位置/var/lib/logstash/plugins/inputs/file,可通过该配置修改sincedb文件存放位置。

  • sincedb_write_interval
    指定logstash写sincedb文件的间隔,默认15秒。

  • close_older
    监听文件超过该时间仍无更新,则关闭该文件句柄,默认1小时。


https://www.elastic.co/guide/en/logstash/current/input-plugins.html

这篇关于Logstash file插件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958772

相关文章

Maven(插件配置和生命周期的绑定)

1.这篇文章很好,介绍的maven插件的。 2.maven的source插件为例,可以把源代码打成包。 Goals Overview就可以查看该插件下面所有的目标。 这里我们要使用的是source:jar-no-fork。 3.查看source插件的example,然后配置到riil-collect.xml中。  <build>   <plugins>    <pl

jenkins 插件执行shell命令时,提示“Command not found”处理方法

首先提示找不到“Command not found,可能我们第一反应是查看目标机器是否已支持该命令,不过如果相信能找到这里来的朋友估计遇到的跟我一样,其实目标机器是没有问题的通过一些远程工具执行shell命令是可以执行。奇怪的就是通过jenkinsSSH插件无法执行,经一番折腾各种搜索发现是jenkins没有加载/etc/profile导致。 【解决办法】: 需要在jenkins调用shell脚

Jenkins 插件 地址证书报错问题解决思路

问题提示摘要: SunCertPathBuilderException: unable to find valid certification path to requested target...... 网上很多的解决方式是更新站点的地址,我这里修改了一个日本的地址(清华镜像也好),其实发现是解决不了上述的报错问题的,其实,最终拉去插件的时候,会提示证书的问题,几经周折找到了其中一遍博文

eclipse安装subversion(SVN)版本控制插件

陈科肇 查看插件更新站点 网址:http://subclipse.tigris.org/servlets/ProjectProcess?pageID=p4wYuA 网站截图: 根据自己的eclipse版本,选择需要的更新站点. 使用eclipse集成subservion插件 Help > Install New Software…> 等待下载安装插件…

Open a folder or workspace... (File -> Open Folder)

问题:vscode Open with Live Server 时 显示Open a folder or workspace... (File -> Open Folder)报错 解决:不可以单独打开文件1.html ; 需要在文件夹里打开 像这样

Weex入门教程之2,Android Studio安装Weex插件

插件位置及描述 https://plugins.jetbrains.com/idea/plugin/8460-weex 貌似对windows还不是很支持,先放着吧。 安装 插件功能 先预览下都有什么功能 安装完成Weex插件后,如果在main toolbar找不到这些功能图标,那么就需要手动添加到main toolbar 添加到main toolbar 红框内就是

android java.io.IOException: open failed: ENOENT (No such file or directory)-api23+权限受权

问题描述 在安卓上,清单明明已经受权了读写文件权限,但偏偏就是创建不了目录和文件 调用mkdirs()总是返回false. <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/><uses-permission android:name="android.permission.READ_E

mybatis框架基础以及自定义插件开发

文章目录 框架概览框架预览MyBatis框架的核心组件MyBatis框架的工作原理MyBatis框架的配置MyBatis框架的最佳实践 自定义插件开发1. 添加依赖2. 创建插件类3. 配置插件4. 启动类中注册插件5. 测试插件 参考文献 框架概览 MyBatis是一个优秀的持久层框架,它支持自定义SQL、存储过程以及高级映射,为开发者提供了极大的灵活性和便利性。以下是关于M

bash: arm-linux-gcc: No such file or directory

ubuntu出故障重装了系统,一直用着的gcc使用不了,提示bash: arm-linux-gcc: No such file or directorywhich找到的命令所在的目录 在google上翻了一阵发现此类问题的帖子不多,后来在Freescale的的LTIB环境配置文档中发现有这么一段:     # Packages required for 64-bit Ubuntu

编译linux内核出现 arm-eabi-gcc: error: : No such file or directory

external/e2fsprogs/lib/ext2fs/tdb.c:673:29: warning: comparison between : In function 'max2165_set_params': -。。。。。。。。。。。。。。。。。。 。。。。。。。。。。。。。 。。。。。。。。 host asm: libdvm <= dalvik/vm/mterp/out/Inte