实时日志监控系统-全览

2024-09-06 05:48
文章标签 系统 日志 实时 监控 全览

本文主要是介绍实时日志监控系统-全览，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

大数据处理，大致可以分为两大模块：

  1. 离线数据处理：比如说电商、运营商出现的大批量的日志，可以由flume、sqoop或者其他路径，导入到HDFS中，然后经过数据清洗，使用Hive进行分析和处理，对于优化服务器资源等有很好的作用；个人觉得，支付宝的年账单就是离线数据处理的应用之处了。
  2. 实时数据处理：对于有些业务需要，可能第二天或者更晚的时候进行分析无关紧要，但对于一些高频的金融交易来说，实时性就太重要了，还有一些如百度搜索的top10，新浪微博的微博热点等等，如果等到第二天处理，那这些新闻也没什么吸引的价值了。

所以，纵观来说，离线数据处理和实时数据处理撑起了大数据处理的一片天，本文将介绍本人亲自负责并予以实施的日志监控项目，麻雀虽小，五脏俱全。

主要模块

  1. 日志收集模块
  2. 日志处理模块

主要工具

  1. flume：用于日志的收集，堪称是业内最好的日志收集工具，支持多种日志收集的渠道，同时支持诸多的日志收集存放地，功能强大；官方链接：flume官网
  2. kafka：消息缓冲队列，大数据处理中常用的缓冲队列，用于数据爆炸的时候，避免拖垮后续的处理逻辑，将消息先存放到队列中，延迟一定的时间进行处理。
  3. log4j：我们在Tomcat服务器上部署的业务系统，需要指定flume-appender，因此需要使用到log4j。
  4. SparkStreaming：在第一版本中，由于实时性不是很强，因此使用该工具予以处理，其处理日志会有一定的延迟，但吞吐量较大。
  5. MySql：用于读取配置数据，已经将配置数据全部迁移到zookeeper上。
  6. Spring boot：构建数据配置服务，方便用户配置自己的日志数据，比如邮件发给何人，短信发给何人，都可以自由指定。
  7. zookeeper：数据配置中心，在本项目用途中，主要是用于配置数据的管理，官方链接：zookeeper官网

1：日志收集模块

在日志收集模块中，针对我们自身的业务，可以分为两大部分：

  1. Nginx日志和数据库运行日志：首先是Nginx，作为业内比较强大的负责均衡工具，其性能比较优良，我们在日常的服务中，也是使用该工具来进行负载均衡的功能实现；插播一句，业内另一比较强大的负载均衡工具是淘宝的章文嵩博士开发的LVS，对于访问量不是很大的网站，使用Nginx完全可以实现功能；为了能够准确处理出错的日志，我们对日志格式进行了一定的定义，类似下图：
  2. 对于Tomcat类型的服务，选择使用log4j内置的flume-appender方式来实现，具体配置可以参考官网：https://logging.apache.org/log4j/2.x/manual/appenders.html#FlumeAppender；其中有很详细的flume-appender配置，在日志中配置合理，每一条日志都会按照相应的格式，作为flume收集日志的来源。

对于收集到的日志，统一采用kafkaSink的方式，输送到后续的kafka中，以备后续的处理。

关于日志的收集，在处理过程中有几点收获：

  1. 对于flume的收集渠道有了更加深入的理解，flume不愧是强大的工具，支持的收集渠道非常多，而且支持的类型也很多，我们在收集nginx日志的时候，配置的type为exec，即命令执行方式，其会执行该命令，把需要监控的日志实时进行读取，配置如下：
    a1.sources = r1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /var/log/secure
a1.sources.r1.channels = c1
  2. 对于tail命令，支持同时读取多个日志文件，会统一把这些日志输送到同一个源，输送到目的地。
  3. 拦截器的使用：有时候，收集到的日志并不是完全如我们的意愿，这时候，拦截器就派上了用场，我们在plugins.d目录下，部署了自己的jar包，用于拦截读取到的日志，进行第二步骤的处理；而且拦截器支持链式，即多个拦截器会依次处理收集到的日志。

2：日志处理模块

对于收集到的日志的处理，我们采用的是Spark-Streaming工具，将其与kafka对接，对于收集到的每一条数据进行处理：

public void startTask() {		//新建sparkConfSparkConf conf = new SparkConf().setAppName(ConfigUtils.SPARK_APPNAME);conf.setMaster("local[4]");// 本地多线程调用// conf.setMaster(ConfigUtils.SPARK_MASTER);//集群调用//制作StreamingContextJavaStreamingContext jsc = new JavaStreamingContext(conf,Durations.seconds(Long.valueOf(ConfigUtils.SPARK_DURATIONS)));Map<String, String> kafaParameters = new HashMap<String, String>();//部署kafka机器的ip及端口号kafaParameters.put("metadata.broker.list", ConfigUtils.KAFKA_BROKER);//消费组的groupIdkafaParameters.put("group.id", ConfigUtils.KAFKA_GROUPID);kafaParameters.put("fetch.message.max.bytes", ConfigUtils.KAFKA_FETCH_MAX);kafaParameters.put("num.consumer.fetchers", ConfigUtils.KAFKA_FETCH_NUM);Set<String> topics = new HashSet<String>();topics.add(ConfigUtils.KAFKA_TOPIC);try {//指定直连，消费kafka某个topic内的数据JavaPairInputDStream<String, String> lines = KafkaUtils.createDirectStream(jsc, String.class, String.class,StringDecoder.class, StringDecoder.class, kafaParameters, topics);JavaDStream<String> words = lines.flatMap(new FlatMapFunction<Tuple2<String, String>, String>() {public Iterator<String> call(Tuple2<String, String> tuple) throws Exception {// log.info("接收kafka数据：" + tuple._2);return Arrays.asList(tuple._2.split(SPACE.pattern())).iterator();}});words.foreachRDD(new VoidFunction2<JavaRDD<String>, Time>() {public void call(JavaRDD<String> word, Time arg1) throws Exception {// TODO Auto-generated method stubprocess(word);}});}catch(Exception e) {e.printStackTrace();}}

这里，主要是将SparkStreaming与kafka对接起来的实现，需要指定消费组的group id，需要指定消费的topic，指定消费的机器，最重要的一步就是创建接下来需要进行处理的JavaRDD，其实，spark最核心的概念就是rdd的处理，其SparkStreaming，实际上处理的也就是一段时间内产生的RDD而已。

对于上述的代码中一些问题予以优化下：

try {JavaPairInputDStream<String, String> lines = KafkaUtils.createDirectStream(jsc, String.class, String.class,StringDecoder.class, StringDecoder.class,kafaParameters, topics);lines.foreachRDD(new VoidFunction<JavaPairRDD<String, String>>() {@Overridepublic void call(JavaPairRDD<String, String> t)throws Exception {t.foreachPartition(new VoidFunction<Iterator<Tuple2<String, String>>>() {@Overridepublic void call(Iterator<Tuple2<String, String>> t)throws Exception {while (t.hasNext()) {String res = t.next()._2;try {// 这里，很重要的一点是，到底要不要输出日志if (flag) {log.info("read kafka message:" + res);}process(res);} catch (Exception e) {log.info(res + "------处理异常------"+ getExeptionMessage(e));}}}});}});} catch (Exception e) {e.printStackTrace();}
更新了其中的算子，争取能够提高效率：

接下来的处理，则是对收集到的日志，进行自己的处理，在此处不予赘述。

项目总结：本项目其实难度并不大，重点在于拦截器的设置，kafka集群的搭建，后续处理的完善，以及如何形成spark与kafka数据的对接等方面。

这篇关于实时日志监控系统-全览的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1141178。

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台，是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力，在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术，能够处理多种视频流格式，并以多种格式（RTMP、RTSP、HTTP-FLV、WebS
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
软考系统规划与管理师考试证书含金量高吗？

软考系统规划与管理师考试证书含金量高吗？

2024年软考系统规划与管理师考试报名时间节点： 报名时间：2024年上半年软考将于3月中旬陆续开始报名 考试时间：上半年5月25日到28日，下半年11月9日到12日 分数线：所有科目成绩均须达到45分以上（包括45分）方可通过考试 成绩查询：可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间：预计在11月左右 证书领取时间：一般在考试成绩公布后3~4个月，各地领取时间有所不同
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2