日志埋点功能

2024-04-12 20:36
文章标签 日志 功能 埋点

本文主要是介绍日志埋点功能，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

开发中经常会有日志埋点需求， 用于统计接口的请求量、处理速度等等，为此本篇幅从一下几个维度进行分析，从零到有搭建。

技术架构解析

实现日志埋点功能，从字面意思就可以想到功能大致分为两个方向：
1、 埋点功能（logback + 封装通用SDK方法 + 共享文件夹（如果是多台机子部署服务器））
2、 解析日志（解析logback中约定的文件地址 + 逐个文件解析每行（记录状态)

埋点功能

利用原生的logback，配置好xml即可实现日志保存，不需要考虑批量刷盘等问题，而封装好通用的SDK是为了方便后续系统使用 。 共享文件夹是为了后续不同微服务部署在不同机器上时，设置的绝对路径文件地址能被后续定时任务解析到文件。

解析日志

解析日志就是文件记录+文件解析的过程，可以建立两张表。一张记录有哪些文件，这些文件是否被解析过，状态如何，另一张表即日志文件表，保存每一次埋点的数据。解析过程会严格安装之前的目录进行，涉及到服务器名、时间等需要特别留意。

埋点功能实现

logback.xml

前置知识需要用到logback，不懂的配置logback.xml的同学可以看下下面的链接:logback 从入门到精通 超详细配置说明

多的不说，少的不唠，直接贴上logback的配置（这里只贴埋点功能涉及的配置）

<?xml version="1.0" encoding="UTF-8"?><configuration><contextName>front-oms</contextName><jmxConfigurator /><appender name="stdout" class="ch.qos.logback.core.ConsoleAppender"><layout class="ch.qos.logback.classic.PatternLayout"><pattern>%date{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%thread] [%X{smy.requestFlowNo}|%X{smy.consumerIp}] %logger{56}.%method\(\):%L - %msg%n</pattern></layout><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>ALL</level></filter></appender><!--埋点相关配置如下--><!--系统编码（填写相应的系统编码）--><substitutionProperty name="sys" value="td-b2b-front" /><appender name="file.biz.log" class="ch.qos.logback.classic.sift.SiftingAppender"><discriminator class="ch.qos.logback.classic.sift.MDCBasedDiscriminator"><key>biz.log.file.name</key><defaultValue>default</defaultValue></discriminator><sift><appender name="file.biz.info-{biz.log.file.name}" class="ch.qos.logback.core.rolling.RollingFileAppender"><file>/bizdata/jss/businessdata/monitor/logs/${sys}/${biz.log.file.name}_${datetime}.txt</file><rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy"><!-- 定义文件滚动时的文件名的格式 --><fileNamePattern>/bizdata/jss/businessdata/monitor/logs/${sys}/${biz.log.file.name}_%d{yyyy-MM-dd}.%i.zip</fileNamePattern><!-- 日期大小分割 --><maxFileSize>20MB</maxFileSize><maxHistory>60</maxHistory><totalSizeCap>20GB</totalSizeCap></rollingPolicy><encoder><pattern>%date{yyyy-MM-dd HH:mm:ss.SSS}|%-5level|%thread|%X{smy.requestFlowNo}|%X{smy.consumerIp}|%X{class.method.line} - %msg%n</pattern></encoder></appender></sift></appender><logger name="biz.log" additivity="false"><level value="info"/><appender-ref ref="file.biz.log" /></logger></configuration>

logback.xml文件主要就干几件事：
1、配置一个<appender>标签 ,确认埋点的日志文件存在什么目录，目录结构是什么样的，有几层目录
2、每个文件的大小多大，如何打包，日志的显示样式如何
3、配置一个<logger> 标签指定我只解析biz.log 名字的，在后面SDK中体现，LoggerFactory.getLogger(“biz.log”)。
注意：
1）<appender>标签中的biz.log.file.name 就是文件名，在后面的SDK通用方法里会存，这里就能读的到
2）目录层级有多少层，后面解析的日志的时候，会从层级里拿sys名字，文件日期等

通用SDK

通用sdk就是如果你有好多个项目要用这个功能，就可以打包成本地仓库，以后maven引一下就可以直接用了

少的不说，多的不唠，这里也直接贴上SDK代码

import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.slf4j.MDC;/*** @description 耗时业务日志输出* @Date 2023/9/10 16:50**/
public class MonitorBizLog {private static final Logger bizlogger = LoggerFactory.getLogger("biz.log");/*** mdc-key：类名+方法名+行*/private final static String CLASS_METHOD_LINE = "class.method.line";/*** mdc-key：日志输出文件名*/private final static String FILE_NAME = "biz.log.file.name";private final static String CUR_DATETIME = "datetime";/*** DEFAULT ：租户，有用到就用，每用到就default*/private final static String DEFAULT = "default";/*** 获取本机ip*/private final static String ethIpAddress = HostUtil.getEthIpAddress();/*** 记录业务日志** @param subBizNo    业务码 （必穿）* @param logUniqueId 日志唯一标识 （必穿）* @param projectNo   项目号* @param orderNo     订单号* @param transField  透传字段*/public static void info(String subBizNo, String logUniqueId, String projectNo, String orderNo, String transField) {try {String curDate = DateUtil.getCurDate("yyyy-MM-dd");//获取租户编号,获取不到则默认为defaultString fbAccessNo = getFbAccessNo();if (StringUtils.isEmpty(fbAccessNo)) {fbAccessNo = DEFAULT;}//设置mdc值,供logback.xml使用//日志输出使用,因日志由此工具类输出,日志输出的“类.方法.行”为本方法,此处获取调用方“类.方法.行”System.setProperty(CUR_DATETIME, curDate);MDC.put(CLASS_METHOD_LINE, getCallingClassMethodName());//日志输出目录：文件名MDC.put(FILE_NAME, curDate + "/" + fbAccessNo + "_" + ethIpAddress);//日志打印bizlogger.info("业务耗时监控|{}|{}|{}|{}|{}", subBizNo, logUniqueId, projectNo, orderNo, transField);} catch (Exception e) {bizlogger.info("业务耗时异常 info subBizNo：{} logUniqueId:{} projectNo:{} orderNo:{} transField:{}", subBizNo, logUniqueId, projectNo, orderNo, transField, e);} finally {//清空mdc值MDC.remove(FILE_NAME);MDC.remove(CLASS_METHOD_LINE);}}/*** 获取调调用类名+方法+行号** @return 类名+方法+行号*/private static String getCallingClassMethodName() {String name = null;try {StackTraceElement[] stackTrace = Thread.currentThread().getStackTrace();if (stackTrace.length >= 4) {StackTraceElement caller = stackTrace[3];name = caller.getClassName() + "." + caller.getMethodName() + ":" + caller.getLineNumber();}} catch (Exception e) {bizlogger.info("业务耗时异常 getCallingClassMethodName", e);}return name;}
}

import java.net.Inet4Address;
import java.net.InetAddress;
import java.net.NetworkInterface;
import java.net.SocketException;
import java.util.Enumeration;/*** @Date 2022-5-31 17:51:43*/
public class HostUtil {public static void main(String[] args) {String ethIpAddress = getEthIpAddress();System.err.println(ethIpAddress);}public static String getEthIpAddress() {try {// 获取本地主机网络接口列表Enumeration<NetworkInterface> interfaces = NetworkInterface.getNetworkInterfaces();// 遍历所有网络接口while (interfaces.hasMoreElements()) {NetworkInterface ni = interfaces.nextElement();// 只处理物理网卡if (!ni.isVirtual() && !ni.isLoopback() && !ni.isPointToPoint() && ni.isUp()) {// 获取该接口的所有IP地址Enumeration<InetAddress> addresses = ni.getInetAddresses();// 遍历IP地址列表while (addresses.hasMoreElements()) {InetAddress addr = addresses.nextElement();// 只处理IPv4地址 && eth 網卡地址if (addr instanceof Inet4Address && ni.getName().startsWith("eth")) {// 输出IP地址和子网掩码return addr.getHostAddress();}}}}} catch (SocketException e) {e.printStackTrace();}return null;}
}

SDK主要干这几件事
1、确认subBizNo业务号和logUniqueId， 这会在后面生产日志表的时候使用，其他字段都是选填
2、进一步确定日期文件目录和名称， 按照当前配置最终目录：/bizdata/jss/businessdata/monitor/logs/td-b2b-front/2024-04-01/default_192.168.0.1_2024-04-01.txt
3、设置好动态参数，datetime时间、biz.log.file.name文件名、class.method.line调用类名+方法+行号
注意：
这里引入了租户、ip、系统名、日期时间等概念，都应用到了目录命名中，方便后续解析的时候能清楚定位， 如不使用全部设置成defult也行。

解析日志功能实现

大体用到两张表，一张t_log_parse解析日志记录表、t_log_print_detail日志详情表

CREATE TABLE `t_log_parse` (`id` varchar(50) NOT NULL COMMENT 'id',`application_name` varchar(50) DEFAULT NULL COMMENT '应用名称',`ip` varchar(50) NOT NULL COMMENT '所属ip地址',`file_name` varchar(100) DEFAULT NULL COMMENT '文件名称',`file_path` varchar(255) DEFAULT NULL COMMENT '文件路径',`file_line` int(11) DEFAULT NULL COMMENT '文件解析行号',`status` varchar(50) DEFAULT NULL COMMENT '解析状态 init初始化、progressing解析中、finish解析完成\n',`create_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) COMMENT '创建时间',`update_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3) COMMENT '修改时间',PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC COMMENT='解析日志记录表';CREATE TABLE `t_log_print_detail` (`id` varchar(50) NOT NULL COMMENT 'id',`log_record_id` varchar(50) DEFAULT NULL COMMENT '关联解析文件记录id',`parent_biz_no` varchar(50) DEFAULT NULL COMMENT '父业务码',`sub_biz_no` varchar(50) DEFAULT NULL COMMENT '子业务码',`unique_id` varchar(50) DEFAULT NULL COMMENT '日志唯一标识',`project_no` varchar(50) DEFAULT NULL COMMENT '项目编号',`order_no` varchar(50) DEFAULT NULL COMMENT '订单编号',`trans_field` varchar(50) DEFAULT NULL COMMENT '透传字段',`thread_id` varchar(100) DEFAULT NULL COMMENT '线程id',`type` varchar(4) NOT NULL DEFAULT '01' COMMENT '01 正常 02 卡件',`start_time` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) COMMENT '开始时间',`end_time` datetime(3) DEFAULT NULL COMMENT '完成时间',`start_datetime` bigint(13) DEFAULT NULL COMMENT '开始时间',`end_datetime` bigint(13) DEFAULT NULL COMMENT '结束时间',`create_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) COMMENT '创建时间',`update_datetime` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3) COMMENT '修改时间',PRIMARY KEY (`id`) USING BTREE,KEY `idx_sub_biz_no_unique_id` (`sub_biz_no`,`unique_id`) USING BTREE COMMENT '业务码+日志唯一id',KEY `idx_sub_biz_no_start_datetime_end_datetime` (`sub_biz_no`,`start_datetime`,`end_datetime`) USING BTREE COMMENT '业务码+开始时间+结束时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC COMMENT='耗时日志详情表';

解析日志记录

起个定时调度， 定时扫描先前约定路径，做好日志文件初始化。
前置准备工作：添加好枚举类、常量、文件Util、HostUtil，定时调度自行选择框架，用Spring原生也行。

前置工作

枚举

public enum LogStatusEnum implements LogEnums{/*** 解析状态*/INIT("INIT", "初始化"),PROGRESSING("PROGRESSING", "解析中"),FINISH("FINISH", "解析完成");private final String code;private final String msg;LogStatusEnum(String code, String msg) {this.code = code;this.msg = msg;}public static LogStatusEnum judgeValue(String code) {LogStatusEnum dataType = null;for (LogStatusEnum t : LogStatusEnum.values()) {if (StringUtils.equals(code, String.valueOf

这篇关于日志埋点功能的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/898174。

相关文章

关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
C++11第三弹：lambda表达式 | 新的类功能 | 模板的可变参数

C++11第三弹：lambda表达式 | 新的类功能 | 模板的可变参数

🌈个人主页： 南桥几晴秋 🌈C++专栏： 南桥谈C++ 🌈C语言专栏： C语言学习系列 🌈Linux学习专栏： 南桥谈Linux 🌈数据结构学习专栏： 数据结构杂谈 🌈数据库学习专栏： 南桥谈MySQL 🌈Qt学习专栏： 南桥谈Qt 🌈菜鸡代码练习： 练习随想记录 🌈git学习： 南桥谈Git 🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈🌈�
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...
Spring框架5 - 容器的扩展功能 (ApplicationContext)

Spring框架5 - 容器的扩展功能 (ApplicationContext)

private static ApplicationContext applicationContext;static {applicationContext = new ClassPathXmlApplicationContext("bean.xml");} BeanFactory的功能扩展类ApplicationContext进行深度的分析。ApplicationConext与 BeanF
阅读更多...
JavaFX应用更新检测功能（在线自动更新方案）

JavaFX应用更新检测功能（在线自动更新方案）

JavaFX开发的桌面应用属于C端，一般来说需要版本检测和自动更新功能，这里记录一下一种版本检测和自动更新的方法。 1. 整体方案 JavaFX.应用版本检测、自动更新主要涉及一下步骤： 读取本地应用版本拉取远程版本并比较两个版本如果需要升级，那么拉取更新历史弹出升级控制窗口用户选择升级时，拉取升级包解压，重启应用用户选择忽略时，本地版本标志为忽略版本用户选择取消时，隐藏升级控制窗口 2.
阅读更多...
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0
阅读更多...
我在移动打工的日志

我在移动打工的日志

客户：给我搞一下录音 我：不会。不在服务范围。 客户：是不想吧 我：笑嘻嘻（气笑） 客户：小姑娘明明会，却欺负老人 我：笑嘻嘻 客户：那我交话费 我：手机号 客户：给我搞录音 我：不会。不懂。没搞过。 客户：那我交话费 我：手机号。这是电信的啊！！我这是中国移动！！ 客户：我不管，我要充话费，充话费是你们的 我：可是这是移动！！中国移动！！ 客户：我这是手机号 我：那又如何，这是移动！你是电信！！
阅读更多...
Android 10.0 mtk平板camera2横屏预览旋转90度横屏拍照图片旋转90度功能实现

Android 10.0 mtk平板camera2横屏预览旋转90度横屏拍照图片旋转90度功能实现

1.前言 在10.0的系统rom定制化开发中，在进行一些平板等默认横屏的设备开发的过程中，需要在进入camera2的 时候，默认预览图像也是需要横屏显示的，在上一篇已经实现了横屏预览功能，然后发现横屏预览后，拍照保存的图片 依然是竖屏的，所以说同样需要将图片也保存为横屏图标了，所以就需要看下mtk的camera2的相关横屏保存图片功能， 如何实现实现横屏保存图片功能 如图所示: 2.mtk
阅读更多...
Spring+MyBatis+jeasyui 功能树列表

Spring+MyBatis+jeasyui 功能树列表

java代码@EnablePaging@RequestMapping(value = "/queryFunctionList.html")@ResponseBodypublic Map<String, Object> queryFunctionList() {String parentId = "";List<FunctionDisplay> tables = query(parent
阅读更多...
PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL有什么优点？ 开源和免费 PostgreSQL是一个开源的数据库管理系统，可以免费使用和修改。这降低了企业的成本，并为开发者提供了一个活跃的社区和丰富的资源。 高度兼容 PostgreSQL支持多种操作系统（如Linux、Windows、macOS等）和编程语言（如C、C++、Java、Python、Ruby等），并提供了多种接口（如JDBC、ODBC、ADO.NET等
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2