本文主要是介绍今儿写了点儿代码,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
今儿完成了两项工作,一个是写了一个准实时抓取线上数据的shell脚本,这个简单,放在crontab里每分钟跑一次,用wget的断点续传功能。另一个是写了一个准实时的将抓取下来的日志解析存入mongodb的php脚本,稍微复杂一些,为了准确性现在只能每小时执行一次。两个脚本均支持指定日期重跑数据。很久不写代码,发现写起来稍微慢一些,经常要查文档,不过准确率很高,基本一次跑通过。
顺便说一下mongodb试用情况,将线上登录日志导入mongodb的脚本,瓶颈主要还是在解析日志上,写mongodb的性能没有单独测试。读取的话,线上90天的登录日志解析存入mongodb后大约占了6、7个G,没有建索引,查询一次大约十几秒的时间,不提供线上服务仅仅作为一般的数据统计用足够了。
接下来就是要把几个扫日志的程序改为实时的,并且数据源迁到mongodb。
这篇关于今儿写了点儿代码的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!