centos+rsyslog+mysql+loganalyzer搭建日志服务器

2024-08-24 06:38

本文主要是介绍centos+rsyslog+mysql+loganalyzer搭建日志服务器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

实验环境:

centos6.10(192.168.0.60)、centos7.9(192.168.0.79)、rsyslog、mairadb。为了好记,所以ip地址对应centos版本号。两个系统上都有mariadb(mysql)。

实验目的:

centos6安装mariadb10.5.13,充当日志数据库服务器。同时也是测试客户端。

centos7充当rsyslog日志服务器,如果客户端产生日志,会传给centos7来记录。使用文件记录日志时,centos6的日志会存在centos7的日志文件中。而使用mysql时,又希望centos7传给远程的mysql,这里mysql就使用centos6。

等于转了个圈,只为测试,有意“提高”难度。过程如下:

centos6本机测试:

cat /dev/null > /var/log/messages;tail /var/log/messages:清空日志,没有任何内容。

service rsyslog restart;tail /var/log/messages:输出重启rsyslog服务产生的日志。

centos6操作,centos7存储日志文件:

1、centos6上编辑/etc/rsyslog.conf: 

编辑RULES段,把之前传给messages日志文件的内容,定向到centos7(192.168.0.79)。

2、centos7上编辑/etc/rsyslog.conf:

 编辑MODULES段,开启端口监听。一定记着防火墙,firewall-cmd要么关闭,要么允许514通过。

3、测试:

centos7清空日志并验证:

 centos6重启rsyslog服务,清空并验证日志:

 发现什么也没有了。再看centos7:

 原本centos6上重启rsyslog的日志记录在了centos7的messages文件中。达到预期效果。

centos6操作,centos7收集日志,再发给centos6的mariadb:

1、centos6编辑rsyslog.conf,指向centos7,同上。

2、centos7安装rsyslog-mysql包:

这个要说明一下,我的环境下,yum list rsyslog-mysql看到的是i686平台的包,但光盘镜像上确实能看到x86_64的包,所以直接yum是不行的,我这样写的:

yum install /media/cdrom/Packages/rsyslog-mysql-8.24.0-55.el7.x86_64.rpm

安装mysql包以后,rsyslog日志采集服务就可以链接mysql了。

使用rpm -ql查看一下就知道,rsyslog-mysql包有一个sql脚本文件:

/usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql

我的centos7上是有mysql客户端的,所以我使用输入重定向,就可以在centos6上执行脚本:

mysql -h 192.168.0.60 -p < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql

当然centos6上的mariadb是需要赋予相应权限的,也可以把脚本拿到centos6上本地执行。

根据sql脚本所示,生成的数据库和表名是:Syslog.SyslogEvents。顺便授权一个用户:syslog@syslogpwd。待会儿配置文件里用。

3、centos7编辑配置文件rsyslog.conf:

modules段确保开启收集日志监听端口,添加ommysql模块,rules段日志保存定向到centos6的mysql。

 mysql定向的格式为:

:ommysql:host,db_name,user_name,user_password

centos7重启rsyslog服务,使配置生效。

4、测试:

centos6和centos7都清空日志文件。

centos6重启rsyslog服务,卸载vim,安装vim,本机messages文件中看不到日志。

centos7的message文件中也没有日志。

 centos6中打开mysql查询Syslog.SystemEvents表,看到日志都在这里了。

 测试完成。达到预期效果。

其实,这时候在centos7上的操作,原本收集到messages的日志都会到centos6的mysql中国去了。因此,接下来要配置一个图形化的工具loganalyzer。

搭建loganalyzer:

下载地址:https://loganalyzer.adiscon.com/download/

它就是个站点,我就不折腾了,装在centos6上。

cd;    tar -xf loganalyzer-4.1.12.tar;     cp loganalyzer-4.1.12 /var/www/html/loganalyzer

cd /var/www/html/loganalyzer/src;    bash ../contrib/*.sh

它的目录下src作为站点根,也可以只复制src到站点目录。contrib目录下有脚本文件,内容很简单,就是用来生成config.php配置文件并赋予权限的。我运行脚本,从来不喜欢赋予执行权限在复制过去,临时执行一下没必要,带上路径bash一下就好。然后就没有然后了,保证httpd服务没问题就好。

浏览器输入站点路径就可以了http://192.168.0.60/loganalyzer/src/install.php。第一次记着访问install.php页面,忘了也没关系,它会提示你并给个链接。

 界面挺好看的吧。按照提示一路next就可以了,数据库链接等都能配置好。然后界面就出来了。还带浮窗,信息非常全。甚至可以有图表。

但是要说明,为了显示这个图表需要php的GD模块,我费了很大周折,请见另外一篇博客。

php编译安装GD模块定制安装的一大推问题_大橘子的博客-CSDN博客

本文完。

这篇关于centos+rsyslog+mysql+loganalyzer搭建日志服务器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1101735

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

SpringBoot日志级别与日志分组详解

《SpringBoot日志级别与日志分组详解》文章介绍了日志级别(ALL至OFF)及其作用,说明SpringBoot默认日志级别为INFO,可通过application.properties调整全局或... 目录日志级别1、级别内容2、调整日志级别调整默认日志级别调整指定类的日志级别项目开发过程中,利用日志

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

Web服务器-Nginx-高并发问题

《Web服务器-Nginx-高并发问题》Nginx通过事件驱动、I/O多路复用和异步非阻塞技术高效处理高并发,结合动静分离和限流策略,提升性能与稳定性... 目录前言一、架构1. 原生多进程架构2. 事件驱动模型3. IO多路复用4. 异步非阻塞 I/O5. Nginx高并发配置实战二、动静分离1. 职责2

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

Linux搭建ftp服务器的步骤

《Linux搭建ftp服务器的步骤》本文给大家分享Linux搭建ftp服务器的步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录ftp搭建1:下载vsftpd工具2:下载客户端工具3:进入配置文件目录vsftpd.conf配置文件4:

深度剖析SpringBoot日志性能提升的原因与解决

《深度剖析SpringBoot日志性能提升的原因与解决》日志记录本该是辅助工具,却为何成了性能瓶颈,SpringBoot如何用代码彻底破解日志导致的高延迟问题,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言第一章:日志性能陷阱的底层原理1.1 日志级别的“双刃剑”效应1.2 同步日志的“吞吐量杀手”