日志分析(php+nosql+rsync+crontable)

2024-06-21 10:48

本文主要是介绍日志分析(php+nosql+rsync+crontable),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

是不是常常要分析用户的行为?是不是常常遇到多台服务器上传的日志一起分析?是不是对数据统计的间隔时间要求很短?还有木有因为日志文件过大,而需要分块处理?

1、说明一点在日志写入的时候必须按照一种严格的格式,这样在做解析的时候,才好切割。比如 gameid:123  gameid:2333。切割统一标准就行。

2、在生成日志的文件名的时候也要按照一定规则,在分析的时候,正则表达式好匹配,如 服务器hostname_date.log  这样在匹配的时候 只需要 glob(*—date.log); //glob 见php函数手册,寻找与模式匹配的文件路径。

3、为什么要用nosql?其实工程师不是仅仅局限于知道怎么实现,而是要多思考什么样的业务用什么样的工具来解决。非关系型数据很适合这种,日志中常常加入新的行为,你用key-value的方式,不需要日志新增了要分析的行为,你就得手动改变你程序的配置,这样我个人觉得不是太好。~假如用mysql,你纵向设计数据库,

结构: id gameid count createtime

          1   1001    3000  2013-03-23  12:22:21

          2   1002   2222   2013-03-23  12:22:21

        ………………

这样设计的话那么不会因为新增gameid来修改数据表,这样有什么坏处?那就是每次插入数据很多,假如30秒插入一次,一次插入30个游戏的统计值,那么一天的增量  2*30*60*24 = 86400 条数据,这样显然不合理。

那么横向设计,一次插入一条数据。

id gameid_1001 gameid_1002 gameid_1003 …… createtime 

1  3000             2222             40000               2013-03-23 09:08:56

2  4000             1800             4000                2013-03-23 09:09:20

……

 这样的坏处是 每次新增了游戏ID 那么就得改变数据表结构,加字段,当然你牛逼点的可以全部用程序来实现,但是这样我觉得不太好。

mongo中有这个内嵌文档,很爽。推荐使用hadoop

存储结构如下

        +{

            "_id":3e3ess3sazxcdsdsfdf,

            "createtime":"2013-03-23 09:13:02",

            "data":{

                    "gameid_1001": 2000,

                    "gameid_1002": 3000,

                    ……

                      }


        }

一次只插入一条数据,新增游戏类型不需要做任何改变,perfect~

4、为什么要用rsync?将多台服务器的日志同步到一个目录下,一起处理,比较方便。

5、需要用到的几个函数,glob, fopen,fget,isset,explode

程序最好不要写得很死板,

 批量读入日志文件

$sLogfileName = '/path/../*_date.log';

$aLogfileName = glop($sLogfileName); // 匹配要处理的日志文件,读入数组中。

……

fopen();

while() //用while循环,处理完文件中的一行数据再去文件中取,如果用foreach一次读入数组,内存会溢出。

{

……

}

……

$aCountResult = array();

$iNum = 100;

if(isset($aCountResult[$iGameId]))

        $aCountResult[$iGameId] = (int)$aCountResult[$iGameId] + $iNum;

else

        $aCountResult[$iGameId] = $iNum;

……

统计完插入。。

然后加入计划程序中,ok。。

主要还是不同的业务用不同的方法解决。

@update 2013-3-25 21:31:45

在日志分析中 \n 是一个很重要的切割符,避免防止内存溢出,不要以 \n

EOF 作为切割符,同事要严格按照日志标准格式写入,这样在解析的时候比较好解析。用fgets方式获取,不能一次读入内存中。

这篇关于日志分析(php+nosql+rsync+crontable)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1081010

相关文章

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

解读GC日志中的各项指标用法

《解读GC日志中的各项指标用法》:本文主要介绍GC日志中的各项指标用法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、基础 GC 日志格式(以 G1 为例)1. Minor GC 日志2. Full GC 日志二、关键指标解析1. GC 类型与触发原因2. 堆

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景

python中Hash使用场景分析

《python中Hash使用场景分析》Python的hash()函数用于获取对象哈希值,常用于字典和集合,不可变类型可哈希,可变类型不可,常见算法包括除法、乘法、平方取中和随机数哈希,各有优缺点,需根... 目录python中的 Hash除法哈希算法乘法哈希算法平方取中法随机数哈希算法小结在Python中,

Java Stream的distinct去重原理分析

《JavaStream的distinct去重原理分析》Javastream中的distinct方法用于去除流中的重复元素,它返回一个包含过滤后唯一元素的新流,该方法会根据元素的hashcode和eq... 目录一、distinct 的基础用法与核心特性二、distinct 的底层实现原理1. 顺序流中的去重

关于MyISAM和InnoDB对比分析

《关于MyISAM和InnoDB对比分析》:本文主要介绍关于MyISAM和InnoDB对比分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录开篇:从交通规则看存储引擎选择理解存储引擎的基本概念技术原理对比1. 事务支持:ACID的守护者2. 锁机制:并发控制的艺

MySQL 打开binlog日志的方法及注意事项

《MySQL打开binlog日志的方法及注意事项》本文给大家介绍MySQL打开binlog日志的方法及注意事项,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录一、默认状态二、如何检查 binlog 状态三、如何开启 binlog3.1 临时开启(重启后失效)

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关