大数据入门之如何利用Phoenix访问Hbase

2024-04-12 20:20
文章标签 数据 访问 入门 phoenix hbase

本文主要是介绍大数据入门之如何利用Phoenix访问Hbase，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在大数据的世界里，HBase和Phoenix可谓是一对黄金搭档。HBase以其高效的列式存储和强大的数据扩展能力，成为大数据存储领域的佼佼者；而Phoenix则以其SQL化的操作方式，简化了对HBase的访问过程。今天，就让我们一起看看如何利用Phoenix轻松访问HBase。

题外话，感觉这个配图很贴切，同意的大家请点赞。

一、HBase：大数据的“仓库管理员”

HBase，就像是一个超级仓库的管理员，它负责存储和管理海量的数据。与传统的关系型数据库不同，HBase采用了列式存储和水平扩展的方式，使得它能够轻松应对大规模数据的存储和访问。

1.使用场景

想象一下，你是一家大型电商公司的数据分析师，每天需要处理数以亿计的用户数据。这些数据包括用户的浏览记录、购买记录、个人信息等。传统的关系型数据库可能无法承受这样的数据量，而HBase则可以轻松应对。你可以将用户数据存储在HBase中，并通过各种查询和分析来挖掘用户的行为模式和购买偏好。

2.案例

我们设计一个HBase表来存储用户购买记录。表名为user_purchases，包含以下列：rowkey（用户ID+购买时间戳）、user_id（用户ID）、purchase_time（购买时间）、product_id（商品ID）、quantity（购买数量）等。

1）表结构设计

要设计一个HBase表来存储用户购买记录，我们需要明确每个字段的存储方式和类型。在HBase中，数据是以键值对的形式存储的，其中rowkey是一个特殊的键，它唯一标识表中的每一行。通常，rowkey会设计为能够方便地支持范围扫描和查询。

考虑到rowkey需要包含用户ID和购买时间戳，我们可以将这两个信息拼接起来作为rowkey。此外，其他的列（如user_id、purchase_time、product_id和quantity）则作为列族下的列进行存储。

在HBase中，创建表的语句通常使用HBase Shell或者HBase的Java API来执行。以下是一个使用HBase Shell创建user_purchases表的示例语句：

# 创建表，并定义一个名为'cf'的列族  
create 'user_purchases', 'cf'

在这个例子中，我们创建了一个名为user_purchases的表，并定义了一个名为cf的列族。在HBase中，所有的列都属于一个或多个列族，而列族是物理存储和版本控制的基本单位。

2）插入数据

接下来，我们需要考虑如何将数据插入到这个表中。由于HBase的rowkey必须是唯一的，并且通常用于优化数据访问，因此我们需要将用户ID和购买时间戳合并为一个字符串作为rowkey。这里是一个示例的rowkey生成逻辑（在Java中的伪代码）：

String userId = "user123";  
String purchaseTime = "20230701100000"; // 假设时间戳格式为YYYYMMDDHHMMSS  
String rowkey = userId + "_" + purchaseTime; // 将用户ID和时间戳拼接为rowkey

然后，我们可以使用HBase Shell或者Java API来插入数据。以下是在HBase Shell中插入数据的示例：

# 插入数据到user_purchases表中  
# 假设rowkey已经根据用户ID和购买时间戳拼接好，这里是user123_20230701100000  
# 假设购买商品ID为product1001，购买数量为2  # 插入用户ID到cf列族的user_id列中  
# 第一个参数是表名  
# 第二个参数是rowkey  
# 第三个参数是列族和列名，用冒号分隔  
# 第四个参数是要插入的值  
put 'user_purchases', 'user123_20230701100000', 'cf:user_id', 'user123'  # 插入购买时间到cf列族的purchase_time列中  
# 注意：这里存储的是字符串形式的购买时间，可以根据需要转换为适合存储的格式  
put 'user_purchases', 'user123_20230701100000', 'cf:purchase_time', '2023-07-01 10:00:00'  # 插入商品ID到cf列族的product_id列中  
put 'user_purchases', 'user123_20230701100000', 'cf:product_id', 'product1001'  # 插入购买数量到cf列族的quantity列中  
# 注意：这里存储的是字符串形式的数量，如果需要进行数值计算，可能需要进行类型转换  
put 'user_purchases', 'user123_20230701100000', 'cf:quantity', '2'

解释：

  1. put命令是HBase Shell中用于向表中插入数据的命令。

  2. 第一个参数是表名，即user_purchases，它指定了我们要向哪个表插入数据。

  3. 第二个参数是rowkey，即user123_20230701100000。在HBase中，rowkey是每一行数据的唯一标识，它通常由多个字段拼接而成，以便支持范围查询和高效的数据检索。在这个例子中，rowkey由用户ID和购买时间戳拼接而成。

  4. 第三个参数是列族和列名的组合，格式为列族名:列名。在这个例子中，我们定义了一个名为cf的列族，并在其中插入了user_id、purchase_time、product_id和quantity四个列。注意，HBase中的列是动态定义的，即当我们向某个列插入数据时，如果这个列之前不存在，HBase会自动创建它。

  5. 第四个参数是要插入到指定列中的值。在这个例子中，我们分别插入了用户ID、购买时间、商品ID和购买数量。

需要注意的是，HBase中的数据都是以字节序列的形式存储的，所以在插入数据时，我们提供的是字符串形式的值。如果后续需要进行数值计算或日期范围查询，可能需要在应用层面进行类型转换或使用Phoenix等SQL层进行抽象。

此外，在实际应用中，为了确保数据的一致性和完整性，可能还需要考虑使用HBase的事务特性或进行适当的数据验证和清洗。同时，对于大规模数据的插入操作，可能需要考虑使用HBase的批量插入API来提高性能。

请注意，在实际应用中，购买时间戳可能需要转换为适合存储和查询的格式。此外，对于purchase_time列，虽然我们在HBase中存储的是字符串形式，但在Phoenix中，我们可以将其映射为DATE或TIMESTAMP类型，以便更方便地进行日期范围查询。

3）查询数据

在HBase中，查询数据通常使用get命令或scan命令。get命令用于根据指定的rowkey检索单个行的数据，而scan命令用于检索表中满足特定条件的多行数据。以下是使用HBase Shell进行查询的示例代码和详细注释：

使用get命令查询单个行

# 使用get命令查询rowkey为'user123_20230701100000'的行  
# get命令的第一个参数是表名，第二个参数是要查询的rowkey  
get 'user_purchases', 'user123_20230701100000'

注释：

  • get：HBase Shell中的命令，用于获取指定rowkey的行数据。
  • 'user_purchases'：要查询的表名。
  • 'user123_20230701100000'：要查询的行的rowkey。这个rowkey应该根据实际的用户ID和购买时间戳来生成。

执行这个命令后，HBase Shell会返回与指定rowkey相关的所有列的数据。

使用scan命令查询多行数据

如果你想要查询满足特定条件的多行数据，可以使用scan命令配合过滤器。但是，请注意，HBase的scan操作通常不支持复杂的查询条件，它主要用于范围扫描。如果需要进行更复杂的查询，通常建议结合使用Phoenix。

以下是一个简单的scan命令示例，该命令扫描user_purchases表中的所有数据：

# 使用scan命令扫描user_purchases表中的所有数据  
scan 'user_purchases'

如果你想要基于某个列的值来过滤结果，可以使用过滤器。例如，假设你想要查询所有user_id为user123的购买记录：

# 使用scan命令和过滤器查询user_id为user123的所有购买记录  
# 注意：这里使用了SingleColumnValueFilter过滤器，它允许你基于单个列的值进行过滤  
scan 'user_purchases', {FILTER => "SingleColumnValueFilter('cf', 'user_id', =, 'binary:user123')"}

注释：

  • scan：HBase Shell中的命令，用于扫描表中的数据。
  • 'user_purchases'：要扫描的表名。
  • {FILTER => "..."}：指定了过滤条件。在这个例子中，我们使用了SingleColumnValueFilter来过滤user_id列值为user123的行。注意，值的类型（这里是binary）应该与存储时的类型相匹配，并且值本身可能需要进行适当的编码（如使用binary:前缀）。

执行这个带有过滤器的scan命令后，HBase Shell会返回所有user_id为user123的行数据。

请注意，这些查询操作仅适用于HBase Shell。在实际应用中，你可能会使用HBase的Java API或其他客户端库来执行更复杂的查询和数据处理操作。如果你需要执行更高级的查询，例如连接操作或聚合函数，那么考虑使用如Phoenix这样的SQL层来扩展HBase的功能。

二、Phoenix：让HBase“开口说话”

Phoenix的出现，就像是给HBase这位仓库管理员装上了一副“金嗓子”，让它能够用SQL这种人类更易于理解的语言来与我们交流。通过Phoenix，我们可以像操作传统数据库一样，使用SQL语句来查询HBase中的数据。

1.利用Phoenix访问HBase

Phoenix允许我们使用标准的JDBC API和SQL语法来访问HBase数据。以下是一个使用Java通过Phoenix访问HBase的简单示例。

首先，确保你已经正确安装了Phoenix，并且在HBase集群中启动了Phoenix。接下来，在你的Java项目中添加Phoenix JDBC驱动程序的依赖。

下面是一个简单的Java代码示例，演示如何使用Phoenix查询HBase中的数据：

2.代码示例

import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.PreparedStatement;  
import java.sql.ResultSet;  
import java.sql.SQLException;  public class PhoenixHBaseExample {  public static void main(String[] args) {  String zookeeperQuorum = "localhost:2181"; // 你的Zookeeper集群地址  String phoenixJdbcUrl = "jdbc:phoenix:" + zookeeperQuorum + "/hbase"; // Phoenix JDBC URL  Connection conn = null;  PreparedStatement stmt = null;  ResultSet rs = null;  try {  // 加载Phoenix JDBC驱动  Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");  // 建立与Phoenix的连接  conn = DriverManager.getConnection(phoenixJdbcUrl);  // 准备SQL查询  String sql = "SELECT * FROM user_purchases WHERE ROWKEY = ?";  stmt = conn.prepareStatement(sql);  // 设置查询参数  stmt.setString(1, "user123_20230701100000");  // 执行查询  rs = stmt.executeQuery();  // 处理查询结果  while (rs.next()) {  String user_id = rs.getString("user_id");  String product_id = rs.getString("product_id");  String purchase_time = rs.getString("purchase_time");  int quantity = rs.getInt("quantity");  System.out.println("User ID: " + user_id);  System.out.println("Product ID: " + product_id);  System.out.println("Purchase Time: " + purchase_time);  System.out.println("Quantity: " + quantity);  System.out.println("---");  }  } catch (ClassNotFoundException e) {  e.printStackTrace();  } catch (SQLException e) {  e.printStackTrace();  } finally {  // 关闭资源  try {  if (rs != null) rs.close();  if (stmt != null) stmt.close();  if (conn != null) conn.close();  } catch (SQLException e) {  e.printStackTrace();  }  }  }  
}

在上面的代码中，我们首先加载了Phoenix JDBC驱动，然后建立了与Phoenix的连接。我们创建了一个PreparedStatement对象，并设置了查询参数。然后执行查询，并遍历ResultSet对象处理查询结果。

注意，此代码示例假设你已经有一个名为user_purchases的Phoenix表，并且表中包含user_id、product_id、purchase_time和quantity等列。ROWKEY是HBase表的行键，在Phoenix中可以直接使用。

此外，你需要将zookeeperQuorum变量替换为你的Zookeeper集群的实际地址。

解释：

  1. 加载驱动：Class.forName("org.apache.phoenix.jdbc.PhoenixDriver"); 这行代码加载了Phoenix的JDBC驱动。

  2. 建立连接：DriverManager.getConnection(phoenixJdbcUrl); 使用JDBC URL连接到Phoenix。URL的格式通常是jdbc:phoenix:ZOOKEEPER_QUORUM[:PORT]/HBASE_ROOTNODE。

  3. 准备查询：使用PreparedStatement来准备SQL查询，并通过setString方法设置查询参数。

  4. 执行查询：调用stmt.executeQuery()执行查询，并获取一个ResultSet对象。

  5. 处理结果：通过遍历ResultSet对象，可以获取查询结果的每一行数据，并通过getString或getInt等方法获取列的值。

  6. 关闭资源：在finally块中关闭ResultSet、PreparedStatement和Connection对象，以确保资源得到正确释放。

请注意，此代码示例是一个简单的入门示例。在实际应用中，你可能需要处理更复杂的查询、错误处理和性能优化等问题。此外，确保你的HBase表和Phoenix表结构已经正确创建，并且数据已经插入到HBase中。

三、注意事项、常见问题及优化

在使用Phoenix访问HBase时，有几个注意事项需要牢记：

  1. 性能优化：Phoenix将SQL查询转换为HBase的Scan操作，因此合理的表设计和索引策略对性能至关重要。避免全表扫描，尽量使用有针对性的查询条件。

  2. 数据类型匹配：确保Phoenix中定义的数据类型与HBase中存储的数据类型相匹配，以避免数据转换错误。

  3. 版本兼容性：注意Phoenix和HBase的版本兼容性。不同版本的Phoenix可能对HBase的API和特性支持有所不同。

  4. 异常处理：当遇到查询错误或性能问题时，查看Phoenix和HBase的日志文件，通常可以找到问题的根源。

  5. 学习资源：Phoenix和HBase的官方文档是学习这两个工具的最佳资源。此外，参加相关的技术社区和论坛，与其他开发者交流经验，也是快速掌握这两个工具的有效途径。

通过Phoenix，我们可以以更直观、更便捷的方式访问HBase数据。无论是数据分析师还是开发人员，都可以利用。

更多内容，请关注「同道说」

这篇关于大数据入门之如何利用Phoenix访问Hbase的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/898147。

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
安卓链接正常显示，ios#符被转义%23导致链接访问404

安卓链接正常显示，ios#符被转义%23导致链接访问404

原因分析： url中含有特殊字符 中文未编码 都有可能导致URL转换失败，所以需要对url编码处理  如下： guard let allowUrl = webUrl.addingPercentEncoding(withAllowedCharacters: .urlQueryAllowed) else {return} 后面发现当url中有#号时，会被误伤转义为%23，导致链接无法访问
阅读更多...
烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集，专门用于烟火目标检测，是一个非常有价值的资源，尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍： 数据集名称：烟火目标检测数据集 数据集规模： 图片数量：7800张类别：主要包含烟火类目标，可能还包括其他相关类别，如烟火发射装置、背景等。格式：图像文件通常为JPEG或PNG格式；标注文件可能为X
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2