HBase数据库使用TTL清理过期数据

2023-10-19 03:08

本文主要是介绍HBase数据库使用TTL清理过期数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

老是看别人的blog,但是发现大多数的质量不高,都是些简单的粘贴复制,把blog当作是笔记本了,有些是转载别人的,很多都是重复的些内容。原创的少。当然我也很懒,也很少原创,这次想原创下,分享下。
18年1月17日公司的HBase数据库上线了,这个项目做了很拖拉,17年8月份就开始调研做设计,9月份开始弄,后面又慢慢地将应用接入HBase数据库。大数据对我来说是个新东西,要学新的知识,这个年纪都有点学不动了,不想学了,学的过程也很烦,没有学习的资料,学习的路径,自己下了官方的一本hbase pdf参考资料,记性差,看了前面忘了后面,只有不断地学不断地记才能学会。当然书不是白看的,数据库表分区的设计就很用,这也确保了后面上线十分数据库读写十分均衡和平稳。但是还是懂了皮毛,学了不深入。学东西太慢,做项目慢也符合我的做事,节奏快我也吃不消。什么ZK这些还是后来xx上PAAS平台有深一点的了解。
整个系统上线总的来说还是平稳的,一次是hdfs元数据fsimg和edits文件写到根盘的问题,是厂家安装的人装的是没考虑,做事不严谨。
系统运行到6月份,hdfs文件系统使用了160T了,占了总空间的46%了。清理表数据的事情也要开始了。做事不够有效率,还是自己给自己订计划,要在什么时候完成。网上查了些资料,也定了些方案,编写MR程序,自己java程序没写过,也这个力气搞。虽然上次大数据培训对MR有了一定的了解。还是TTL简单点。相对来说上手容易点。
开始着手TTL了,也是靠网友提供的资料,自己又认真看了点官方理论知识,这样结合了下感觉还不错,至少觉得可以一试了,现在测试环境上搞了下,还OK的,后来就在生产环境搞了。这次搞了下,感觉对hbase又有了进一步的了解,明白了compaction,hbase:meta,regions分区怎么删,Locality,region name的命名含义等等。
开始清理表里面的数据,放入TTL,删除90天前的数据。操作步骤如下:

describe ‘INDEX_XXXX’
disable ‘INDEX_XXXX’
alter ‘INDEX_XXXX’,{NAME=>‘logkey’,TTL=>‘7776000’}
enable ‘INDEX_XXXX’
describe ‘INDEX_XXXX’
major_compact ‘INDEX_XXXX’

清理了2张表,hdfs空间释放了2T,十分满意。后面准备搞大的表。

建议大家设计表的时候就放入TTL ,后面就没这个麻烦事了。

这篇关于HBase数据库使用TTL清理过期数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/236879

相关文章

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/

shell编程之函数与数组的使用详解

《shell编程之函数与数组的使用详解》:本文主要介绍shell编程之函数与数组的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录shell函数函数的用法俩个数求和系统资源监控并报警函数函数变量的作用范围函数的参数递归函数shell数组获取数组的长度读取某下的

使用Python开发一个带EPUB转换功能的Markdown编辑器

《使用Python开发一个带EPUB转换功能的Markdown编辑器》Markdown因其简单易用和强大的格式支持,成为了写作者、开发者及内容创作者的首选格式,本文将通过Python开发一个Markd... 目录应用概览代码结构与核心组件1. 初始化与布局 (__init__)2. 工具栏 (setup_t

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

Python Transformer 库安装配置及使用方法

《PythonTransformer库安装配置及使用方法》HuggingFaceTransformers是自然语言处理(NLP)领域最流行的开源库之一,支持基于Transformer架构的预训练模... 目录python 中的 Transformer 库及使用方法一、库的概述二、安装与配置三、基础使用:Pi

关于pandas的read_csv方法使用解读

《关于pandas的read_csv方法使用解读》:本文主要介绍关于pandas的read_csv方法使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录pandas的read_csv方法解读read_csv中的参数基本参数通用解析参数空值处理相关参数时间处理相关

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

SpringBoot条件注解核心作用与使用场景详解

《SpringBoot条件注解核心作用与使用场景详解》SpringBoot的条件注解为开发者提供了强大的动态配置能力,理解其原理和适用场景是构建灵活、可扩展应用的关键,本文将系统梳理所有常用的条件注... 目录引言一、条件注解的核心机制二、SpringBoot内置条件注解详解1、@ConditionalOn