(02)Hive SQL编译成MapReduce任务的过程

2024-02-16 19:04
文章标签 sql 02 过程 hive 任务 database mapreduce 编译成

本文主要是介绍(02)Hive SQL编译成MapReduce任务的过程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

一、架构及组件介绍

1.1 Hive底层架构

1.2 Hive组件

1.3 Hive与Hadoop交互过程

二、Hive SQL 编译成MR任务的流程

2.1 HQL转换为MR源码整体流程介绍

2.2 程序入口—CliDriver

2.3 HQL编译成MR任务的详细过程—Driver

2.3.1 将HQL语句转换成AST抽象语法树

词法、语法解析

2.3.2 将AST转换成TaskTree

语义解析

 生成逻辑执行计划

优化逻辑执行计划

 生成物理执行计划

 HQL编译成MapReduce具体原理

JOIN

 GROUP BY

DISTINCT

优化物理执行计划 

2.3.3 提交任务并执行

一、架构及组件介绍

1） Hive简介

  •  Hive是Facebook实现的一个开源的数据仓库工具。
  • 将结构化的数据文件映射为数据库表，并提供HQL查询功能，将HQL语句转化为MapReduce任务运行

2） Hive本质：将 HQL 转化成 MapReduce 程序

  • Hive 处理的数据存储在 HDFS
  • Hive 分析数据底层的实现是 MapReduce
  • 执行程序运行在 Yarn 上

1.1 Hive底层架构

1.2 Hive组件

  • 用户接口：Client
  1. CLI：shell命令行
  2. JDBC/ODBC：Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议
  3. WEBUI：通过浏览器访问Hive
  • 元数据：Metastore
      通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
  • Hadoop
数据利用 HDFS文件系统 进行存储，使用 MapReduce 进行计算。
  • 驱动器：Driver
  • 解析器（SQL Parser）：将 SQL 字符串转换成抽象语法树 AST，这一步一般都用第 三方工具库完成，比如 antlr；对 AST 进行语法分析，比如表是否存在、字段是否存在、SQL 语义是否有误。
  • 编译器（Physical Plan）：将 AST 编译生成逻辑执行计划。
  • 优化器（Query Optimizer）：对逻辑执行计划进行优化。
  • 执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。当下Hive支持MapReduce、Tez、Spark3种执行引擎

    Driver驱动器总结：完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，随后执行引擎调用执行。当下Hive支持MapReduce、Tez、Spark3种执行引擎。

1.3 Hive与Hadoop交互过程

上图的基本流程是：

  • 步骤1：Client 客户端调用 Driver的接口；
  • 步骤2：Driver驱动器为查询创建会话句柄，并将查询发送到 Compiler(编译器组件)生成执行计划；
  • 步骤3和4：编译器从元数据存储库中获取本次查询所需要的元数据；
  • 步骤5：编译器生成各个阶段Stage的执行计划，如果是一个MR任务，该执行计划分为两部分：Map Operator Tree（map端的执行计划树）和Reduce Operator Tree（reduce端的执行计划树）,再将生成的逻辑执行计划发给Driver；
  • 步骤6：Driver将逻辑执行计划发给执行引擎Execution Engine；（将逻辑执行计划转化成具体的物理执行计划，即mr任务）

步骤6.1 / 6.2  /6.3 /6.4：执行引擎将这些阶段Stage的具体执行内容提交给对应的组件。在每个 Task(mapper/reducer) 任务中，从HDFS文件中读取与表相关的数据，并通过算子树依次传递。最终的数据集借助序列化器写入到临时的HDFS文件中。

  • 步骤7、8：临时HDFS文件的内容由执行引擎读取后，通过Driver将查询结果发送给Client 客户端

简化版本：

总结：Hive通过给用户提供的一系列交互接口，接收到用户的指令（sql）,使用自己的driver，结合元数据（metastore）,将这些指令翻译成 mapreduce任务，提交到hadoop中执行，最后将执行返回的结果输出到用户交互接口。

二、Hive SQL 编译成MR任务的流程

2.1 HQL转换为MR源码整体流程介绍

2.2 程序入口—CliDriver

我们执行一个 HQL 语句通常有以下几种方式：
  • $HIVE_HOME/bin/hive进入客户端，然后执行HQL；
  • $HIVE_HOME/bin/hive -e “hql”；
  • $HIVE_HOME/bin/hive -fhive.sql；
  • 先开启hivesever2服务端，然后通过JDBC方式连接远程提交HQL。
 可以知道我们执行 HQL 主要依赖于 $HIVE_HOME/bin/hive  和  $HIVE_HOME/bin/
而在这两个脚本中，最终启动的 JAVA 程序的主类为
“ org.apache.hadoop.hive.cli.CliDriver ” ，所以其实 Hive程序的入口就是“CliDriver ”这个类。

2.3 HQL编译成MR任务的详细过程—Driver

2.3.1 将HQL语句转换成AST抽象语法树

  • 词法、语法解析

          Antlr 定义 SQL 的语法规则，完成 SQL 词法，语法解析，将 SQL 转化为抽象语法树 AST Tree；

 例如：AST如下图：

2.3.2 将AST转换成TaskTree

  • 语义解析

         遍历 AST Tree，抽象出一条SQL最基本组成单元 QueryBlock（查询块），该块包括三个部分：输入源，计算过程，输出。简单而言一个QueryBlock就是一个子查询。

  • 生成逻辑执行计划

         遍历 QueryBlock，翻译为执行操作树 OperatorTree（操作树，也就是逻辑执行计划）；Hive最终生成的MapReduce任务，Map阶段和Reduce阶段均由OperatorTree组成。

基本的操作符包括：

  1. TableScanOperator

  2. SelectOperator

  3. FilterOperator

  4. JoinOperator

  5. GroupByOperator

  6. ReduceSinkOperator

     Operator操作算子在Map Reduce阶段之间的数据传递是一个流式的过程。每一个Operator对一行数据操作之后将数据传递给childOperator计算。

      由于Join/GroupBy需要在Reduce阶段完成，所以在生成相应操作的Operator之前都会先生成一个ReduceSinkOperator，将字段组合并序列化为Reduce KeyReduce /value, Partition Key。

  • 优化逻辑执行计划

      逻辑优化器对OperatorTree（操作树）进行逻辑优化。例如合并不必要的ReduceSinkOperator，减少数据传输及 shuffle 数据量； 

 ​​​​​​   Hive中的逻辑查询优化可以大致分为以下几类：

  1. 投影修剪

  2. 谓词下推

  3. 多路 Join

  •  生成物理执行计划

       遍历 OperatorTree，转换成TaskTree（任务树，即物理执行计划）即MR任务。生成物理执行计划即是将逻辑执行计划生成的OperatorTree转化为MapReduce Job的过程。

 HQL编译成MapReduce具体原理

  （1） hive.fetch.task.conversion参数

 在Hive中，有些简单任务既可以转化为MR任务，也可以Fetch本地抓取，即直接读取table对应的hdfs存储目录下文件得到结果，通过hive.fetch.task.conversion参数配置。默认情况使用参数more，例如：SELECT、FILTER、LIMIT等简单查找都使用Fetch本地抓取，而其他复杂sql转为MR任务。

 （2）转化为MR任务的SQL

       需要转换成MR任务的sql通常会涉及到key值的shuffle，例如：join、groupby、distinct等，接下来介绍此三种情况的sql转化。

  • JOIN

JOIN任务转化为MR任务的流程如下：

  • Map： 生成键值对，以join on 条件中的列作为key，以join之后所关心的列作为value值，在value中还会包含表的Tag信息，用于标明此value对应哪张表
  • Shuffle： 根据key值进行hash分区, 按照hash值将键值对（key-value）发送到不同的reducer中
  • Reduce：Reducer通过Tag来识别不同的表中的数据，根据key值进行join操作

  以下列sql为例：

SELECT pageid, age 
FROM page_view 
JOIN userinfo 
ON page_view.userid = userinfo.userid;

 sql转化为mr任务流程如下图：

  •  GROUP BY

  GROUP BY任务转化为MR任务的流程如下：

  • Map： 生成键值对，以GROUP BY条件中的列作为key，以聚集函数的结果作为value
  • Shuffle： 根据key值进行hash分区, 按照hash值将键值对（key-value）发送到不同的reducer中
  • Reduce：根据SELECT子句的列以及聚集函数进行Reduce

以下列sql为例：

SELECT pageid,COUNT(1) as num
FROM page_view
GROUP BY pageid;

sql转化为mr任务流程如下图：

  • DISTINCT

      与GROUP BY操作相同，只是键值对中的value可为空。

以下列sql为例：

SELECT DISTINCT pageid FROM page_view;

待补充~

  • 优化物理执行计划 

       物理优化器对进行TaskTree（任务树，即物理执行计划）进行物理优化；

Hive中的物理优化可以大致分为以下几类：

  1. 分区修剪(Partition Pruning)

  2. 基于分区和桶的扫描修剪(Scan pruning)

  3. 在某些情况下，在 mapper端进行 Group By分组的预聚合

  4. 在 mapper端执行Join（map join）

  5. 如果是简单的select查询，可以设置为本地执行，避免使用MapReduce作业

    经过2.3.1 及2.3.2 这六个阶段，HQL就被解析映射成了集群上的 MR任务。

2.3.3 提交任务并执行

  • 获取MR临时工作目录
  • 定义Partitioner
  • 定义Mapper和Reducer
  • 实例化Job任务
  • 提交Job任务并执行

这篇关于(02)Hive SQL编译成MapReduce任务的过程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/715422。

相关文章

浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
SQL中的外键约束

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点： 1.确保子表中的某个字段（外键）只能引用父表中的有效记录2.主表中的列被删除时，子表中的关联列也会被删除3.主表中的列更新时，子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
如何去写一手好SQL

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB，才推荐分库分表。性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考，并非铁律。 博主曾经操作过超过4亿行数据
阅读更多...
作业提交过程之HDFSMapReduce

作业提交过程之HDFSMapReduce

作业提交全过程详解 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步：Client提交完资源后，向RM申请运行MrAp
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
MySQL数据库宕机，启动不起来，教你一招搞定！

MySQL数据库宕机，启动不起来，教你一招搞定！

作者介绍：老苏，10余年DBA工作运维经验，擅长Oracle、MySQL、PG、Mongodb数据库运维（如安装迁移，性能优化、故障应急处理等）公众号：老苏畅谈运维欢迎关注本人公众号，更多精彩与您分享。 MySQL数据库宕机，数据页损坏问题，启动不起来，该如何排查和解决，本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志，排查哪个表（表空间
阅读更多...
MySQL高性能优化规范

MySQL高性能优化规范

前言：      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后，总结出了这篇！ 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来） 数据库对象的命名要能做到见名识意，并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀，备份
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
[MySQL表的增删改查-进阶]

[MySQL表的增删改查-进阶]

🌈个人主页：努力学编程’ ⛅个人推荐： c语言从初阶到进阶 JavaEE详解 数据结构 ⚡学好数据结构，刷题刻不容缓：点击一起刷题 🌙心灵鸡汤：总有人要赢，为什么不能是我呢 💻💻💻数据库约束 🔭🔭🔭约束类型 not null: 指示某列不能存储 NULL 值unique: 保证某列的每行必须有唯一的值default: 规定没有给列赋值时的默认值.primary key:
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2