玩转HBase: Coprocessor Endpoint (1):startkey和endkey的真正作用

2023-12-13 07:58

本文主要是介绍玩转HBase: Coprocessor Endpoint (1):startkey和endkey的真正作用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Coprocessor(协处理器)是HBase 0.92版后加入的新组件,详情请见:HBase: Coprocessor Introduction。

本系列主要探讨Coprocessor的Endpoint方法。

本篇主要介绍Endpoint中startkey和endkey的真正作用。

官方把Coprocessor的Endpoint比喻成关系型数据库的StoreProcedure(存储过程),这个比喻很恰当。但我个人觉得Endpoint有时更像是一个只有单个Reduce的MapReduce,Reduce是Client,Maps就是Regions上的Endpoints。

接触过Coprocessor方法的童鞋都应该知道Endpoint的Client调用方法有两个,如下:

[java]  view plain copy
  1. org.apache.hadoop.hbase.client.HTable.coprocessorProxy(  
  2.     Class<? extends Map<byte[], String>> protocol,  
  3.     byte[] row  
  4. )  
  5.   
  6. org.apache.hadoop.hbase.client.HTable.coprocessorExec(  
  7.     Class<ScanCoprocessorProtocol> protocol,  
  8.     byte[] startKey,  
  9.     byte[] endKey,  
  10.     Call<ScanCoprocessorProtocol,  
  11.     String> callable  
  12. throws IOException, Throwable  

coprocessorProxy是串行调用方法,coprocessorExec是并行调用方法。
如果需要跨多个Region调用,coprocessorExec性能要高于coprocessorProxy。
那么如何才能让Client锁定Region呢?
coprocessorProxy由参数row控制,coprocessorExec由startkey和endkey控制。这里要强调一下,很多新手都会搞错一个概念,他们会认为startkey和endkey是就是Scan方法中的startRow和stopRow~~~,其实不然
[java]  view plain copy
  1. org.apache.hadoop.hbase.client.Scan.Scan(byte[]startRow, byte[]stopRow)  

Scan中的startRow和stopRow是控制Row上下标,也就是说Scan操作的对象是数据。而coprocessorExec的startkey和endkey的操作对象是Region,这个概念千万不能搞错~~
举个例子有一张表TB: startRow=1000000,endRow=2000000,一共100W条数据。现在把这100W数据平均分到10个Region上
Region1:  1000000--1100000
Region2:  1100001--1200000
Region3:  1200001--1300000
..............
Region10:1900001--2000000
现在我们根据Row的范围做一次Count统计

如果调用Scan做一次Client统计

[java]  view plain copy
  1. String RowKey = "1050001";  
  2. String EndKey = "1100000";  
  3. HTable myTB = new HTable(conf, "TB");  
  4. Scan myScan = new Scan(RowKey.getBytes(),EndKey.getBytes());  
  5. ResultScanner rs = myTB.getScanner(myScan);  
  6. int Count = 0;  
  7. while(rs.hasnext())  
  8.     Count++;  

最后的结果Count = 5W。

但是如果把coprocessorExec的startkey和endkey当成Scan中的startRow和stopRow来调用Endpoint,悲剧发生了~~

[java]  view plain copy
  1. String RowKey = "1050001";  
  2. String EndKey  = "1100000";  
  3. //伪代码,真正的调用方式不是这样的  
  4. int Count = coprocessorExec(  
  5.     Myprotocol.class,  
  6.     RowKey.getBytes(),  
  7.     EndKey.getBytes(),  
  8.     new Batch.Call<Myprotocol, int>() {  
  9. public String call(Myprotocol counter)  
  10.     throws IOException {  
  11.         return MyScan();  
  12.     }  
  13. });  
  14.   
  15.   
  16. //Endpoint方法  
  17. int MyScan(){  
  18.     Scan myScan = new Scan();  
  19.     RegionCoprocessorEnvironment environment = (RegionCoprocessorEnvironment) getEnvironment();  
  20.     InternalScanner scanner = environment.getRegion().getScanner(myScan);  
  21.     int Count = 0;  
  22.     while(scanner.hasnext())  
  23.         Count ++;  
  24.     return Count;  
  25. }  
最后结果:Count =10W,尽然扫描了整个Region1 惊恐 ~~~这是因为coprocessorExec的startkey和endkey定位对象是Region,只要startkey和endkey的区间内的任何一个ROW覆盖到了某个Region,那么该Region的所有数据都会被扫描一次,最后只会得到一个错误的结果。

官方的例子中,scan实例是在Endpoint函数中定义的,这很可能会误导很多新手。为了避免这种情况发生,我们只要在MyScan方法中加入一个Scan参数,Client定义好Scan的startRow和stopRow,并向MyScan传入该参数。

[java]  view plain copy
  1. String RowKey = "1050001";  
  2. String EndKey  = "1100000";  
  3. Scan myScan = new Scan(RowKey.getBytes(),EndKey.getBytes());  
  4. //伪代码,真正的调用方式不是这样的  
  5. int Count = coprocessorExec(  
  6.         Myprotocol.class,  
  7.         RowKey.getBytes(),  
  8.         EndKey.getBytes(),  
  9.         new Batch.Call<Myprotocol, int>() {  
  10.             public String call(Myprotocol counter)  
  11.                 throws IOException {  
  12.                 return MyScan(myScan);  
  13.             }  
  14. });  
  15.   
  16.   
  17. //Endpoint方法  
  18. int MyScan(myScan){  
  19.     RegionCoprocessorEnvironment environment = (RegionCoprocessorEnvironment) getEnvironment();  
  20.     InternalScanner scanner = environment.getRegion().getScanner(myScan);  
  21.     int Count = 0;  
  22.         while(scanner.hasnext())  
  23.         Count ++;  
  24.     return Count;  
  25. }  

这样就可以得到正确的统计值。
当然除了Scan,其他例如Get、Put、HTable甚至自定义类型都是可以作为参数传入的,这由业务决定。
我个人认为Endpoint作用不光是用来统计数据,还可以代替Scan方法用来查询明细数据,只不过开发人员需要自己去封装 List<Result>,有时我们甚至可以用Endpoint,去建立异步的二级索引和整理后台数据等工作。
今后会提供一些Coprocessor的实例源码,下期放上一个复杂的Endpoint实例讲解。
注:以上代码都是Java伪代码,不能直接Copy使用。
本文是CSDN-撸大湿原创,如要转载请注明出处,谢谢。

如有任何异议请留言,或去CSDN-Hadoop论坛找我,欢迎拍砖~

下期将重点讨论在不同的应用场景下,如何选择coprocessorProxy和coprocessorExec。

并结合自己写的源码的对这两个方法做详细的分析玩转HBase: Coprocessor Endpoint (2):coprocessorProxy和coprocessorExec的合理运用

这篇关于玩转HBase: Coprocessor Endpoint (1):startkey和endkey的真正作用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/487669

相关文章

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

C++ 中的 if-constexpr语法和作用

《C++中的if-constexpr语法和作用》if-constexpr语法是C++17引入的新语法特性,也被称为常量if表达式或静态if(staticif),:本文主要介绍C++中的if-c... 目录1 if-constexpr 语法1.1 基本语法1.2 扩展说明1.2.1 条件表达式1.2.2 fa

css中的 vertical-align与line-height作用详解

《css中的vertical-align与line-height作用详解》:本文主要介绍了CSS中的`vertical-align`和`line-height`属性,包括它们的作用、适用元素、属性值、常见使用场景、常见问题及解决方案,详细内容请阅读本文,希望能对你有所帮助... 目录vertical-ali

浅析CSS 中z - index属性的作用及在什么情况下会失效

《浅析CSS中z-index属性的作用及在什么情况下会失效》z-index属性用于控制元素的堆叠顺序,值越大,元素越显示在上层,它需要元素具有定位属性(如relative、absolute、fi... 目录1. z-index 属性的作用2. z-index 失效的情况2.1 元素没有定位属性2.2 元素处

Spring 中 BeanFactoryPostProcessor 的作用和示例源码分析

《Spring中BeanFactoryPostProcessor的作用和示例源码分析》Spring的BeanFactoryPostProcessor是容器初始化的扩展接口,允许在Bean实例化前... 目录一、概览1. 核心定位2. 核心功能详解3. 关键特性二、Spring 内置的 BeanFactory

Spring组件初始化扩展点BeanPostProcessor的作用详解

《Spring组件初始化扩展点BeanPostProcessor的作用详解》本文通过实战案例和常见应用场景详细介绍了BeanPostProcessor的使用,并强调了其在Spring扩展中的重要性,感... 目录一、概述二、BeanPostProcessor的作用三、核心方法解析1、postProcessB

MyBatis的配置对象Configuration作用及说明

《MyBatis的配置对象Configuration作用及说明》MyBatis的Configuration对象是MyBatis的核心配置对象,它包含了MyBatis运行时所需的几乎所有配置信息,这个对... 目录MyBATis配置对象Configuration作用Configuration 对象的主要作用C

MySQL表锁、页面锁和行锁的作用及其优缺点对比分析

《MySQL表锁、页面锁和行锁的作用及其优缺点对比分析》MySQL中的表锁、页面锁和行锁各有特点,适用于不同的场景,表锁锁定整个表,适用于批量操作和MyISAM存储引擎,页面锁锁定数据页,适用于旧版本... 目录1. 表锁(Table Lock)2. 页面锁(Page Lock)3. 行锁(Row Lock

Android fill_parent、match_parent、wrap_content三者的作用及区别

这三个属性都是用来适应视图的水平或者垂直大小,以视图的内容或尺寸为基础的布局,比精确的指定视图的范围更加方便。 1、fill_parent 设置一个视图的布局为fill_parent将强制性的使视图扩展至它父元素的大小 2、match_parent 和fill_parent一样,从字面上的意思match_parent更贴切一些,于是从2.2开始,两个属性都可以使用,但2.3版本以后的建议使

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令 在日常的工作中由于各种原因,会出现这样一种情况,某些项目并没有打包至mvnrepository。如果采用原始直接打包放到lib目录的方式进行处理,便对项目的管理带来一些不必要的麻烦。例如版本升级后需要重新打包并,替换原有jar包等等一些额外的工作量和麻烦。为了避免这些不必要的麻烦,通常我们