本文主要是介绍HBase数据库使用TTL清理过期数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
老是看别人的blog,但是发现大多数的质量不高,都是些简单的粘贴复制,把blog当作是笔记本了,有些是转载别人的,很多都是重复的些内容。原创的少。当然我也很懒,也很少原创,这次想原创下,分享下。
18年1月17日公司的HBase数据库上线了,这个项目做了很拖拉,17年8月份就开始调研做设计,9月份开始弄,后面又慢慢地将应用接入HBase数据库。大数据对我来说是个新东西,要学新的知识,这个年纪都有点学不动了,不想学了,学的过程也很烦,没有学习的资料,学习的路径,自己下了官方的一本hbase pdf参考资料,记性差,看了前面忘了后面,只有不断地学不断地记才能学会。当然书不是白看的,数据库表分区的设计就很用,这也确保了后面上线十分数据库读写十分均衡和平稳。但是还是懂了皮毛,学了不深入。学东西太慢,做项目慢也符合我的做事,节奏快我也吃不消。什么ZK这些还是后来xx上PAAS平台有深一点的了解。
整个系统上线总的来说还是平稳的,一次是hdfs元数据fsimg和edits文件写到根盘的问题,是厂家安装的人装的是没考虑,做事不严谨。
系统运行到6月份,hdfs文件系统使用了160T了,占了总空间的46%了。清理表数据的事情也要开始了。做事不够有效率,还是自己给自己订计划,要在什么时候完成。网上查了些资料,也定了些方案,编写MR程序,自己java程序没写过,也这个力气搞。虽然上次大数据培训对MR有了一定的了解。还是TTL简单点。相对来说上手容易点。
开始着手TTL了,也是靠网友提供的资料,自己又认真看了点官方理论知识,这样结合了下感觉还不错,至少觉得可以一试了,现在测试环境上搞了下,还OK的,后来就在生产环境搞了。这次搞了下,感觉对hbase又有了进一步的了解,明白了compaction,hbase:meta,regions分区怎么删,Locality,region name的命名含义等等。
开始清理表里面的数据,放入TTL,删除90天前的数据。操作步骤如下:
describe ‘INDEX_XXXX’
disable ‘INDEX_XXXX’
alter ‘INDEX_XXXX’,{NAME=>‘logkey’,TTL=>‘7776000’}
enable ‘INDEX_XXXX’
describe ‘INDEX_XXXX’
major_compact ‘INDEX_XXXX’
清理了2张表,hdfs空间释放了2T,十分满意。后面准备搞大的表。
建议大家设计表的时候就放入TTL ,后面就没这个麻烦事了。
这篇关于HBase数据库使用TTL清理过期数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!