Hbase - regionserver存储过程(写过程)

2024-01-29 21:58

本文主要是介绍Hbase - regionserver存储过程(写过程),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

架构图

 

写入流程

 

Hadoop 生态圈 

来源 Google 的三篇论文: 谷歌有三宝 计算(MapReduce) 存储(GFS)和 大表(BIgtable) 

BigTable ---> HBase   Hadoop DataBase

传统的关系型数据库 : Mysql  Oracle   操作方式 : sql操作 
什么叫做关系型数据库 : 基于关系模型提出来数据库,数据最终保存在一张二维表里面

HBase 是一个Nosql  not only sql 

    简单对比 吞吐量
    Mysql             HBase 
    1000 +             100W+ 

    关系型数据库 :           擅长的地方         增删改查  事务
    非关系型数据库HBase  : 擅长的地方         存储 和 读取     订单信息  历史数据 

HBase基本架构模型 
    画 HBase 架构图方式
    1. HBase 表结构     
        学校学生和成绩统计  
            Mysql 表 设计两张表  一张学生表 (年龄 ,姓名 ,性别....)     一张成绩表(语文,数学,英语,化学,物理..)
            Hbase 只有一张表 , 以列族划分  数十亿行 数百万列 
    2. HBase 部署在庞大廉价的机器集群上面 阿里巴巴 12000


HBase工作机制
    1.切分和分配大表
    ** 将一张大表切分,切分成一个个小单元(Region),分配到服务器集群上面,分别由每一台机器(RegionServer)托管一部分数据.一般情况下,RegionServer托管多个Region
    2. 理论上可以把RegionServer当做HDFS 客户端 来对DataNode操作
    3. 稀疏
    4. 允许相同的行键存在

HBase的原理分析
    1. HBase 写数据流程
         * 请求Region所在的服务器 
         * 将数据写入 Hlog
         * 将数据写入到 MemStore 
         * 经过累积Flush到Store ---> StoreFile ---> HFile
         MemStore 什么时候刷盘

    2. 寻找Region  HBase meta 
        1. 找Zk 问 : Meta 表在哪 答 : 在 RS2
        2. RS2  问 : 读取 XXX表里面的38行数据 在那个Region上面能找到,哪个RS为他提供服务 答 : RS1上面的Region3
        3. 我要读取XXX表里面的38行数据 答案 : 好的那去吧 

操作HBase 
    WebConsole  : 端口号 16010
    JavaAPI  : 编写Java代码方式
    命令行方式 :     
        启动HBase : start-hbase.sh
        登入 : hbase shell
        查看当前数据库的表 : list
        创建表 : create '表名','列族名'
        插入数据 : put '表名','行键','列族名:子项名称','值'
        查看表描述 : desc '表名'
        查看表数据 : scan '表名'  get '表名','行键'
        清空表 : truncate '表名'  禁用表disable table  删除表drop table 创建表 create table 
        删除表 : disable '表名' drop '表名' 删除表的时候不会立刻马上删除,先打上"墓碑",不能对表有任何操作
        等到执行一次大合并的时候会进行删除.

这篇关于Hbase - regionserver存储过程(写过程)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/658289

相关文章

Spring boot整合dubbo+zookeeper的详细过程

《Springboot整合dubbo+zookeeper的详细过程》本文讲解SpringBoot整合Dubbo与Zookeeper实现API、Provider、Consumer模式,包含依赖配置、... 目录Spring boot整合dubbo+zookeeper1.创建父工程2.父工程引入依赖3.创建ap

SpringBoot3.X 整合 MinIO 存储原生方案

《SpringBoot3.X整合MinIO存储原生方案》本文详细介绍了SpringBoot3.X整合MinIO的原生方案,从环境搭建到核心功能实现,涵盖了文件上传、下载、删除等常用操作,并补充了... 目录SpringBoot3.X整合MinIO存储原生方案:从环境搭建到实战开发一、前言:为什么选择MinI

Linux下进程的CPU配置与线程绑定过程

《Linux下进程的CPU配置与线程绑定过程》本文介绍Linux系统中基于进程和线程的CPU配置方法,通过taskset命令和pthread库调整亲和力,将进程/线程绑定到特定CPU核心以优化资源分配... 目录1 基于进程的CPU配置1.1 对CPU亲和力的配置1.2 绑定进程到指定CPU核上运行2 基于

Java进程异常故障定位及排查过程

《Java进程异常故障定位及排查过程》:本文主要介绍Java进程异常故障定位及排查过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、故障发现与初步判断1. 监控系统告警2. 日志初步分析二、核心排查工具与步骤1. 进程状态检查2. CPU 飙升问题3. 内存

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

SpringBoot整合liteflow的详细过程

《SpringBoot整合liteflow的详细过程》:本文主要介绍SpringBoot整合liteflow的详细过程,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋...  liteflow 是什么? 能做什么?总之一句话:能帮你规范写代码逻辑 ,编排并解耦业务逻辑,代码

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

MySQL之InnoDB存储引擎中的索引用法及说明

《MySQL之InnoDB存储引擎中的索引用法及说明》:本文主要介绍MySQL之InnoDB存储引擎中的索引用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录1、背景2、准备3、正篇【1】存储用户记录的数据页【2】存储目录项记录的数据页【3】聚簇索引【4】二

MySQL中的InnoDB单表访问过程

《MySQL中的InnoDB单表访问过程》:本文主要介绍MySQL中的InnoDB单表访问过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、访问类型【1】const【2】ref【3】ref_or_null【4】range【5】index【6】

MySQL之InnoDB存储页的独立表空间解读

《MySQL之InnoDB存储页的独立表空间解读》:本文主要介绍MySQL之InnoDB存储页的独立表空间,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、独立表空间【1】表空间大小【2】区【3】组【4】段【5】区的类型【6】XDES Entry区结构【