HBase-HLog分析

2024-09-03 16:48
文章标签 分析 hbase hlog

本文主要是介绍HBase-HLog分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

HLog的全部实现在包:

org.apache.hadoop.hbase.regionserver.wal 中

 

相关的配置为

参数名默认值含义
hbase.regionserver.hlog.enabledtrue是否启用WAL
hbase.regionserver.hlog.writer.implSequenceFileLogWriterHLog.Writer实现类
hbase.regionserver.hlog.reader.implSequenceFileLogReaderHLog.Reader实现类
hbase.regionserver.hlog.keyclassHLogKeyHLog.Entry的key实现类
hbase.regionserver.wal.enablecompressionfalse是否对日志压缩
io.file.buffer.size4096读取文件的buffer大小
hbase.regionserver.hlog.replication1复制类型
hbase.regionserver.hlog.blocksize32M文件系统块大小
hbase.regionserver.hlog.lowreplication.rolllimit5若低于副本数,尝试几次
hbase.regionserver.hlog.tolerable.lowreplication??未知
hbase.regionserver.maxlogs32最大日志个数
hbase.regionserver.logroll.multiplier0.95到HDFS块95%时回滚

hbase.regionserver.hlog.lowreplication.rolllimit

其中在Hlog.syncer方法中调用checkLowReplication方法用来判断是否hlog在hdfs上的副本数低于配置项,

若低于则requestLogRoll,最终调用logRollRequested方法,但是调用次数不超过默认5次

 

核心类HLog,负责创建读,写接口的实现,完成最终的写入数据,读数据等。

HLog.Reader  HLog读接口,实现类:SequenceFileLogReader

HLog.Writer    HLog写接口,实现类:SequenceFileLogWriter

HLog中包含了若干 HLog.Entry,Entry是一个K/V键值对

键为:HLogKey

值为:WALEdit

工具类:

    HLogSplitter(./hbase hlog命令实现类)

    Compressor(负责将input内容压缩到output中,或者input内容解压到output中)

WALActionsListener  日志的观察者监听类,当日志发生变化了可以触发观察者,比如replication功能就是实现了这个接口。 

 

HLog是一个二进制格式的文件,文件开头二进制信息:

SEQ0org.apache.hadoop.hbase.regionserver.wal.HLogKey0org.apache.hadoop.hbase.regionserver.wal.WALEdit

一个HLog文件如下:


 

 

这里注明了key和value使用的分别是HLogKey和WALEdit两个类

HLog中包含若干Entry,HLog是一个顺序的文件结构,没有索引,所有的Entry都是顺序挨个读取的。

HLog格式如下图:

 


 

HLog$Entry包含一个key,value
key:    HLogKey
value: WALEdit
Entry二进制内容如下:
1.总数据长度(hlogkey+waledit)
2.key长度
3.数据

 

HLogKey
1.变长int
2.编码后的region名字(若启用压缩则写入压缩后的内容)
3.表名(若启用压缩则写入压缩后的内容)
4.long长度的序列号
5.long长度的时间戳
6.1字节UUID标识(是否用默认的UUID标识)
7.UUID前8个字节
8.UUID后8个字节

 

WALEdit
1.int长度版本号
2.int长度KeyValue个数
3.遍历写入KeyValue(若启用压缩则写入压缩后的内容)3-1.KeyValue长度(int)3-2.KeyValue的二进制数据(4字节的key长,4字节的value长,2字节的rowkey长,key,1字节的family长,family,qualify,8字节的timestampe,1字节的keytype,变成long的memstoreMVC
4.socpe个数(若scope为null则写入0)
5.遍历写入每个scope(int长度)

 

 

HLog读取,写入的列子

	/*** 读取HLog中的内容* @throws IOException*/public void read()throws IOException {FileSystem fs = FileSystem.get(cfg);Path path = new Path("/test/hbase/hlog.1234567890");HLog.Reader reader = HLog.getReader(fs, path, cfg);HLog.Entry entry = reader.next();HLogKey key = entry.getKey();WALEdit edit = entry.getEdit();System.out.println( Bytes.toString(key.getEncodedRegionName()) );System.out.println( Bytes.toString(key.getTablename()) );System.out.println( key.getLogSeqNum() );System.out.println( key.getWriteTime() );System.out.println( key.getClusterId().toString() );List<KeyValue> list = edit.getKeyValues();for(KeyValue kv:list) {System.out.println(kv.toString());}while( (entry=reader.next()) !=null ) {System.out.println(entry);}}

 

 

 

	/*** 将数据写入到HLog,用HLog.Writer直接写入数据* @throws IOException*/public void write() throws IOException {FileSystem fs = FileSystem.get(cfg);Path path = new Path("/test/hbase/hlog.1234567890");HLog.Writer writer =  HLog.createWriter(fs, path, cfg);byte[] encodedRegionName = Bytes.toBytes("myregion");byte[] tablename = Bytes.toBytes("test");long logSeqNum = 100;long now = System.currentTimeMillis();UUID clusterId = UUID.randomUUID();HLogKey key1 = new HLogKey(encodedRegionName, tablename, logSeqNum, now, clusterId);WALEdit edit1 = new WALEdit();edit1.add(generator("key111111111111111111111111", "column", "a",System.currentTimeMillis(), new byte[] { '2' }));		HLog.Entry entry1 = new Entry(key1, edit1);HLogKey key2 = new HLogKey(encodedRegionName, tablename, 101L, now, UUID.randomUUID());WALEdit edit2 = new WALEdit();edit2.add(generator("key333333333333333333333333", "column", "b",System.currentTimeMillis(), VALUES));HLog.Entry entry2 = new Entry(key2, edit2);writer.append(entry2);writer.append(entry1);writer.sync();writer.close();}

 

	/*** 使用HLog写入数据* @throws IOException*/public void hlogWriter() throws IOException {FileSystem fs = FileSystem.get(cfg);String regionDir = "/test/hbase/hlog";HLog log = new HLog(fs, new Path(regionDir, "logs"), new Path(regionDir, "oldlogs"), cfg);byte[] tableName = Bytes.toBytes("test");byte[] startKey = Bytes.toBytes("aaaaa1111111111");byte[] endKey = Bytes.toBytes("zzzzz9999999999");HRegionInfo info = new HRegionInfo(tableName, startKey, endKey);WALEdit edit = new WALEdit();edit.add(generator("key333333333333333333333333", "column", "a",System.currentTimeMillis(), new byte[] { '2' }));edit.add(generator("key333333333333333333333333", "column", "b",System.currentTimeMillis(), VALUES));UUID uuid = UUID.randomUUID();long now = System.currentTimeMillis();HColumnDescriptor family = new HColumnDescriptor("column");HTableDescriptor descriptor = new HTableDescriptor();descriptor.addFamily(family);log.append(info, tableName, edit, uuid, now, descriptor);log.sync();log.hflush();log.hsync();log.close();}

  

	/*** 生成KeyValue* @param key* @param column* @param qualifier* @param timestamp* @param value* @return*/public KeyValue generator(String key, String column, String qualifier,long timestamp, byte[] value) {byte[] keyBytes = Bytes.toBytes(key);byte[] familyBytes = Bytes.toBytes(column);byte[] qualifierBytes = Bytes.toBytes(qualifier);Type type = Type.Put;byte[] valueBytes = value;KeyValue kv = new KeyValue(keyBytes, 0, keyBytes.length, familyBytes,0, familyBytes.length, qualifierBytes, 0,qualifierBytes.length, timestamp, type, valueBytes, 0,valueBytes.length);return kv;}

 

 

 

 

这篇关于HBase-HLog分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1133494

相关文章

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用,例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具,该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明,MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能,MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境,如果是隔离环境,无法连接互联网时,请先按照 离线环境安装依赖的指导进行依赖包的安装,然后按照本文的指导继续操作。如果网络环境可以连接互联网,请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud

线性因子模型 - 独立分量分析(ICA)篇

序言 线性因子模型是数据分析与机器学习中的一类重要模型,它们通过引入潜变量( latent variables \text{latent variables} latent variables)来更好地表征数据。其中,独立分量分析( ICA \text{ICA} ICA)作为线性因子模型的一种,以其独特的视角和广泛的应用领域而备受关注。 ICA \text{ICA} ICA旨在将观察到的复杂信号

【软考】希尔排序算法分析

目录 1. c代码2. 运行截图3. 运行解析 1. c代码 #include <stdio.h>#include <stdlib.h> void shellSort(int data[], int n){// 划分的数组,例如8个数则为[4, 2, 1]int *delta;int k;// i控制delta的轮次int i;// 临时变量,换值int temp;in

三相直流无刷电机(BLDC)控制算法实现:BLDC有感启动算法思路分析

一枚从事路径规划算法、运动控制算法、BLDC/FOC电机控制算法、工控、物联网工程师,爱吃土豆。如有需要技术交流或者需要方案帮助、需求:以下为联系方式—V 方案1:通过霍尔传感器IO中断触发换相 1.1 整体执行思路 霍尔传感器U、V、W三相通过IO+EXIT中断的方式进行霍尔传感器数据的读取。将IO口配置为上升沿+下降沿中断触发的方式。当霍尔传感器信号发生发生信号的变化就会触发中断在中断

kubelet组件的启动流程源码分析

概述 摘要: 本文将总结kubelet的作用以及原理,在有一定基础认识的前提下,通过阅读kubelet源码,对kubelet组件的启动流程进行分析。 正文 kubelet的作用 这里对kubelet的作用做一个简单总结。 节点管理 节点的注册 节点状态更新 容器管理(pod生命周期管理) 监听apiserver的容器事件 容器的创建、删除(CRI) 容器的网络的创建与删除

PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL有什么优点? 开源和免费 PostgreSQL是一个开源的数据库管理系统,可以免费使用和修改。这降低了企业的成本,并为开发者提供了一个活跃的社区和丰富的资源。 高度兼容 PostgreSQL支持多种操作系统(如Linux、Windows、macOS等)和编程语言(如C、C++、Java、Python、Ruby等),并提供了多种接口(如JDBC、ODBC、ADO.NET等

OpenCV结构分析与形状描述符(11)椭圆拟合函数fitEllipse()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C++11 算法描述 围绕一组2D点拟合一个椭圆。 该函数计算出一个椭圆,该椭圆在最小二乘意义上最好地拟合一组2D点。它返回一个内切椭圆的旋转矩形。使用了由[90]描述的第一个算法。开发者应该注意,由于数据点靠近包含的 Mat 元素的边界,返回的椭圆/旋转矩形数据