HIVE数仓数据血缘分析工具-SQL解析

2024-04-01 07:18
文章标签 sql 分析 工具 数据 解析 数仓 hive database 血缘

本文主要是介绍HIVE数仓数据血缘分析工具-SQL解析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、数仓经常会碰到的几类问题：
1、两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。
2、基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。

二、问题分析：
数据源长途跋涉，经过大量的处理和组件来传递，呈现在业务用户面前，对数据进行回溯其实很难。元数据回溯在有效决策、策略制定、差异分析等过程中很重要。这两类问题都属于数据血缘分析问题，第一类叫做数据回溯、第二类叫做影响分析，是数据回溯的逆向。

三、解决方法：
自己实现了一套基于hive数仓的数据血缘分析工具，来完成各个数据表、字段之间的关系梳理，进而解决上面两个问题。

  • 工具主要目标：解析计算脚本中的HQL语句，分析得到输入输出表、输入输出字段和相应的处理条件，进行分析展现。
  • 实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，遇到子句则压栈当前处理，处理子句。子句处理完，栈弹出。处理字句的过程中，遇到子查询就保存当前子查询的信息，判断与其父查询的关系，最终形成树形结构； 遇到字段或者条件处理则记录当前的字段和条件信息、组成Block，嵌套调用。
  • 关键点解析：
    1、遇到TOK_TAB或TOK_TABREF则判断出当前操作的表
    2、压栈判断是否是join，判断join条件
    3、定义数据结构Block,遇到在where\select\join时获得其下相应的字段和条件，组成Block
    4、定义数据结构ColLine,遇到TOK_SUBQUERY保存当前的子查询信息，供父查询使用
    5、定义数据结构ColLine,遇到TOK_UNION结束时，合并并截断当前的列信息
    6、遇到select　或者未明确指出的字段，查询元数据进行辅助分析
    7、解析结果进行相关校验

代码地址：http://download.csdn.net/detail/thomas0yang/9354943
https://download.csdn.net/download/thomas0yang/9369949
懒得改成github了☺

代码如下：
Block类

package com.xiaoju.products.parse;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.Stack;
import java.util.Map.Entry;
import java.util.LinkedHashSet;import org.antlr.runtime.tree.Tree;
import org.apache.hadoop.hive.ql.parse.ASTNode;
import org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer;
import org.apache.hadoop.hive.ql.parse.HiveParser;
import org.apache.hadoop.hive.ql.parse.ParseDriver;import com.xiaoju.products.bean.Block;
import com.xiaoju.products.bean.ColLine;
import com.xiaoju.products.bean.QueryTree;
import com.xiaoju.products.exception.SQLParseException;
import com.xiaoju.products.exception.UnSupportedException;
import com.xiaoju.products.util.Check;
import com.xiaoju.products.util.MetaCache;
import com.xiaoju.products.util.NumberUtil;
import com.xiaoju.products.util.ParseUtil;
import com.xiaoju.products.util.PropertyFileUtil;/*** hive sql解析类* * 目的：实现HQL的语句解析，分析出输入输出表、字段和相应的处理条件。为字段级别的数据血缘提供基础。* 重点：获取SELECT操作中的表和列的相关操作。其他操作这判断到字段级别。* 实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，遇到子句则压栈当前处理，处理子句。子句处理完，栈弹出。* 处理字句的过程中，遇到子查询就保存当前子查询的信息，判断与其父查询的关系，最终形成树形结构；* 遇到字段或者条件处理则记录当前的字段和条件信息、组成Block，嵌套调用。 * 关键点解析 * 		   1、遇到TOK_TAB或TOK_TABREF则判断出当前操作的表*         2、压栈判断是否是join，判断join条件*         3、定义数据结构Block,遇到在where\select\join时获得其下相应的字段和条件，组成Block*         4、定义数据结构ColLine,遇到TOK_SUBQUERY保存当前的子查询信息，供父查询使用*         5、定义数据结构ColLine,遇到TOK_UNION结束时，合并并截断当前的列信息*         6、遇到select *　或者未明确指出的字段，查询元数据进行辅助分析*         7、解析结果进行相关校验* 试用范围：* 1、支持标准SQL * 2、不支持transform using script*        * @author yangyangthomas     *    */
public class LineParser {private static final String SPLIT_DOT = ".";private static final String SPLIT_COMMA = ",";private static final String SPLIT_AND = "&";private static final String TOK_EOF = "<EOF>";private static final String CON_WHERE = "WHERE:";private static final String TOK_TMP_FILE = "TOK_TMP_FILE";private Map<String /*table*/, List<String/*column*/>> dbMap = new HashMap<String, List<String>>();private List<QueryTree> queryTreeList = new ArrayList<QueryTree>(); //子查询树形关系保存private Stack<Set<String>> conditionsStack = new Stack<Set<String>>();private Stack<List<ColLine>> colsStack = new Stack<List<ColLine>>();private Map<String, List<ColLine>> resultQueryMap = new HashMap<String,  List<ColLine>>();private Set<String> conditions = new HashSet<String>(); //where or join 条件缓存private List<ColLine> cols = new ArrayList<ColLine>(); //一个子查询内的列缓存private Stack<String> tableNameStack = new Stack<String>();private Stack<Boolean> joinStack = new Stack<Boolean>();private Stack<ASTNode> joinOnStack = new Stack<ASTNode>();private Map<String, QueryTree> queryMap = new HashMap<String, QueryTree>();private boolean joinClause = false;private ASTNode joinOn = null;private String nowQueryDB = "default"; //hive的默认库private boolean isCreateTable = false;//结果private List<ColLine> colLines = new ArrayList<ColLine>();  private Set<String> outputTables = new HashSet<String>();private Set<String> inputTables = new HashSet<String>();private List<ColLine> tmpColLines = new ArrayList<ColLine>();  private Set<String> tmpOutputTables = new HashSet<String>();private Set<String> tmpInputTables = new HashSet<String>();public List<ColLine> getColLines() {return colLines;}public Set<String> getOutputTables() {return outputTables;}public Set<String> getInputTables() {return inputTables;}private void parseIteral(ASTNode ast) {prepareToParseCurrentNodeAndChilds(ast);parseChildNodes(ast);parseCurrentNode(ast);endParseCurrentNode(ast);}/*** 解析当前节点* @param ast* @param set* @return*/private void parseCurrentNode(ASTNode ast){if (ast.getToken() != null) {switch (ast.getToken().getType()) {case HiveParser.TOK_CREATETABLE: //outputtableisCreateTable = true;String tableOut = fillDB(BaseSemanticAnalyzer.getUnescapedName((ASTNode) ast.getChild(0)));tmpOutputTables.add(tableOut);MetaCache.getInstance().init(tableOut); //初始化数据，供以后使用break;case HiveParser.TOK_TAB:// outputTableString tableTab = BaseSemanticAnalyzer.getUnescapedName((ASTNode) ast.getChild(0));String tableOut2 = fillDB(tableTab);tmpOutputTables.add(tableOut2);MetaCache.getInstance().init(tableOut2); //初始化数据，供以后使用break;case HiveParser.TOK_TABREF:// inputTableASTNode tabTree = (ASTNode) ast.getChild(0);String tableInFull = fillDB((tabTree.getChildCount() == 1) ?  BaseSemanticAnalyzer.getUnescapedName((ASTNode) tabTree.getChild(0)): BaseSemanticAnalyzer.getUnescapedName((ASTNode) tabTree.getChild(0))+ SPLIT_DOT + BaseSemanticAnalyzer.getUnescapedName((ASTNode) tabTree.getChild(1)));String tableIn = tableInFull.substring(tableInFull.indexOf(SPLIT_DOT) + 1);	tmpInputTables.add(tableInFull);MetaCache.getInstance().init(tableInFull); //初始化数据，供以后使用queryMap.clear();String alia = null;if (ast.getChild(1) != null) { //(TOK_TABREF (TOK_TABNAME detail usersequence_client) c) alia = ast.getChild(1).getText().toLowerCase();QueryTree qt = new QueryTree();qt.setCurrent(alia);qt.getTableSet().add(tableInFull);QueryTree pTree = getSubQueryParent(ast);qt.setpId(pTree.getpId());qt.setParent(pTree.getParent());queryTreeList.add(qt);if (joinClause && ast.getParent() == joinOn) { // TOK_SUBQUERY join TOK_TABREF ,此处的TOK_SUBQUERY信息不应该清楚for (QueryTree entry : queryTreeList) { //当前的查询范围if (qt.getParent().equals(entry.getParent())) {queryMap.put(entry.getCurrent(), entry);

这篇关于HIVE数仓数据血缘分析工具-SQL解析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/866540。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
SQL中的外键约束

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点： 1.确保子表中的某个字段（外键）只能引用父表中的有效记录2.主表中的列被删除时，子表中的关联列也会被删除3.主表中的列更新时，子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
如何去写一手好SQL

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB，才推荐分库分表。性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考，并非铁律。 博主曾经操作过超过4亿行数据
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2