首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
hfile专题
HBase-HFile分析
HFile的整体结构图如下: 整个HFile分四部分: 1.可以被迭代器扫描的部分,如数据块 2.不被迭代器扫描到的部分,如中间层索引 3.直接加载到内容的部分,如根索引,文件信息 4.尾部文件块部分,通过尾文件块找到根索引,再由索引定位中间索引以及叶索引,最后找到需要的数据。 需要注意的是第三点中,直接被加载到内存的部分,如根索引,文件信息,这部分的内容对于一个正确的HFile实现来说就
阅读更多...
MapReduce生成HFile入库到HBase及源码分析
原文: http://blog.pureisle.net/archives/1950.html 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即hbase提供的HFileOutputFormat类。 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种h
阅读更多...
hbase架构原理之region、memstore、hfile、hlog、columm-family、colum、cell(有时间看)
hbase架构原理之region、memstore、hfile、hlog、columm-family、colum、cell 2017年11月08日 16:34:52 亚当-adam 阅读数:957 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhaojianting/article/details/78480329 Hbase的顶级存储结
阅读更多...
HBase – 存储文件HFile结构解析
HFile是HBase存储数据的文件组织形式,参考BigTable的SSTable和Hadoop的TFile实现。从HBase开始到现在,HFile经历了三个版本,其中V2在0.92引入,V3在0.98引入。HFileV1版本的在实际使用过程中发现它占用内存多,HFile V2版本针对此进行了优化,HFile V3版本基本和V2版本相同,只是在cell层面添加了Tag数组的支持。鉴于此,本文主要针
阅读更多...