HIVE数仓数据血缘分析工具-SQL解析

2024-04-01 07:18
文章标签 sql 分析 工具 数据 解析 数仓 hive database 血缘

本文主要是介绍HIVE数仓数据血缘分析工具-SQL解析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、数仓经常会碰到的几类问题：
1、两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。
2、基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。

二、问题分析：
数据源长途跋涉，经过大量的处理和组件来传递，呈现在业务用户面前，对数据进行回溯其实很难。元数据回溯在有效决策、策略制定、差异分析等过程中很重要。这两类问题都属于数据血缘分析问题，第一类叫做数据回溯、第二类叫做影响分析，是数据回溯的逆向。

三、解决方法：
自己实现了一套基于hive数仓的数据血缘分析工具，来完成各个数据表、字段之间的关系梳理，进而解决上面两个问题。

  • 工具主要目标：解析计算脚本中的HQL语句，分析得到输入输出表、输入输出字段和相应的处理条件，进行分析展现。
  • 实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，遇到子句则压栈当前处理，处理子句。子句处理完，栈弹出。处理字句的过程中，遇到子查询就保存当前子查询的信息，判断与其父查询的关系，最终形成树形结构； 遇到字段或者条件处理则记录当前的字段和条件信息、组成Block，嵌套调用。
  • 关键点解析：
    1、遇到TOK_TAB或TOK_TABREF则判断出当前操作的表
    2、压栈判断是否是join，判断join条件
    3、定义数据结构Block,遇到在where\select\join时获得其下相应的字段和条件，组成Block
    4、定义数据结构ColLine,遇到TOK_SUBQUERY保存当前的子查询信息，供父查询使用
    5、定义数据结构ColLine,遇到TOK_UNION结束时，合并并截断当前的列信息
    6、遇到select　或者未明确指出的字段，查询元数据进行辅助分析
    7、解析结果进行相关校验

代码地址：http://download.csdn.net/detail/thomas0yang/9354943
https://download.csdn.net/download/thomas0yang/9369949
懒得改成github了☺

代码如下：
Block类

package com.xiaoju.products.parse;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.Stack;
import java.util.Map.Entry;
import java.util.LinkedHashSet;import org.antlr.runtime.tree.Tree;
import org.apache.hadoop.hive.ql.parse.ASTNode;
import org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer;
import org.apache.hadoop.hive.ql.parse.HiveParser;
import org.apache.hadoop.hive.ql.parse.ParseDriver;import com.xiaoju.products.bean.Block;
import com.xiaoju.products.bean.ColLine;
import com.xiaoju.products.bean.QueryTree;
import com.xiaoju.products.exception.SQLParseException;
import com.xiaoju.products.exception.UnSupportedException;
import com.xiaoju.products.util.Check;
import com.xiaoju.products.util.MetaCache;
import com.xiaoju.products.util.NumberUtil;
import com.xiaoju.products.util.ParseUtil;
import com.xiaoju.products.util.PropertyFileUtil;/*** hive sql解析类* * 目的：实现HQL的语句解析，分析出输入输出表、字段和相应的处理条件。为字段级别的数据血缘提供基础。* 重点：获取SELECT操作中的表和列的相关操作。其他操作这判断到字段级别。* 实现思路：对AST深度优先遍历，遇到操作的token则判断当前的操作，遇到子句则压栈当前处理，处理子句。子句处理完，栈弹出。* 处理字句的过程中，遇到子查询就保存当前子查询的信息，判断与其父查询的关系，最终形成树形结构；* 遇到字段或者条件处理则记录当前的字段和条件信息、组成Block，嵌套调用。 * 关键点解析 * 		   1、遇到TOK_TAB或TOK_TABREF则判断出当前操作的表*         2、压栈判断是否是join，判断join条件*         3、定义数据结构Block,遇到在where\select\join时获得其下相应的字段和条件，组成Block*         4、定义数据结构ColLine,遇到TOK_SUBQUERY保存当前的子查询信息，供父查询使用*         5、定义数据结构ColLine,遇到TOK_UNION结束时，合并并截断当前的列信息*         6、遇到select *　或者未明确指出的字段，查询元数据进行辅助分析*         7、解析结果进行相关校验* 试用范围：* 1、支持标准SQL * 2、不支持transform using script*        * @author yangyangthomas     *    */
public class LineParser {private static final String SPLIT_DOT = ".";private static final String SPLIT_COMMA = ",";private static final String SPLIT_AND = "&";private static final String TOK_EOF = "<EOF>";private static final String CON_WHERE = "WHERE:";private static final String TOK_TMP_FILE = "TOK_TMP_FILE";private Map<String /*table*/, List<String/*column*/>> dbMap = new HashMap<String, List<String>>();private List<QueryTree> queryTreeList = new ArrayList<QueryTree>(); //子查询树形关系保存private Stack<Set<String>> conditionsStack = new Stack<Set<String>>();private Stack<List<ColLine>> colsStack = new Stack<List<ColLine>>();private Map<String, List<ColLine>> resultQueryMap = new HashMap<String,  List<ColLine>>();private Set<String> conditions = new HashSet<String>(); //where or join 条件缓存private List<ColLine> cols = new ArrayList<ColLine>(); //一个子查询内的列缓存private Stack<String> tableNameStack = new Stack<String>();private Stack<Boolean> joinStack = new Stack<Boolean>();private Stack<ASTNode> joinOnStack = new Stack<ASTNode>();private Map<String, QueryTree> queryMap = new HashMap<String, QueryTree>();private boolean joinClause = false;private ASTNode joinOn = null;private String nowQueryDB = "default"; //hive的默认库private boolean isCreateTable = false;//结果private List<ColLine> colLines = new ArrayList<ColLine>();  private Set<String> outputTables = new HashSet<String>();private Set<String> inputTables = new HashSet<String>();private List<ColLine> tmpColLines = new ArrayList<ColLine>();  private Set<String> tmpOutputTables = new HashSet<String>();private Set<String> tmpInputTables = new HashSet<String>();public List<ColLine> getColLines() {return colLines;}public Set<String> getOutputTables() {return outputTables;}public Set<String> getInputTables() {return inputTables;}private void parseIteral(ASTNode ast) {prepareToParseCurrentNodeAndChilds(ast);parseChildNodes(ast);parseCurrentNode(ast);endParseCurrentNode(ast);}/*** 解析当前节点* @param ast* @param set* @return*/private void parseCurrentNode(ASTNode ast){if (ast.getToken() != null) {switch (ast.getToken().getType()) {case HiveParser.TOK_CREATETABLE: //outputtableisCreateTable = true;String tableOut = fillDB(BaseSemanticAnalyzer.getUnescapedName((ASTNode) ast.getChild(0)));tmpOutputTables.add(tableOut);MetaCache.getInstance().init(tableOut); //初始化数据，供以后使用break;case HiveParser.TOK_TAB:// outputTableString tableTab = BaseSemanticAnalyzer.getUnescapedName((ASTNode) ast.getChild(0));String tableOut2 = fillDB(tableTab);tmpOutputTables.add(tableOut2);MetaCache.getInstance().init(tableOut2); //初始化数据，供以后使用break;case HiveParser.TOK_TABREF:// inputTableASTNode tabTree = (ASTNode) ast.getChild(0);String tableInFull = fillDB((tabTree.getChildCount() == 1) ?  BaseSemanticAnalyzer.getUnescapedName((ASTNode) tabTree.getChild(0)): BaseSemanticAnalyzer.getUnescapedName((ASTNode) tabTree.getChild(0))+ SPLIT_DOT + BaseSemanticAnalyzer.getUnescapedName((ASTNode) tabTree.getChild(1)));String tableIn = tableInFull.substring(tableInFull.indexOf(SPLIT_DOT) + 1);	tmpInputTables.add(tableInFull);MetaCache.getInstance().init(tableInFull); //初始化数据，供以后使用queryMap.clear();String alia = null;if (ast.getChild(1) != null) { //(TOK_TABREF (TOK_TABNAME detail usersequence_client) c) alia = ast.getChild(1).getText().toLowerCase();QueryTree qt = new QueryTree();qt.setCurrent(alia);qt.getTableSet().add(tableInFull);QueryTree pTree = getSubQueryParent(ast);qt.setpId(pTree.getpId());qt.setParent(pTree.getParent());queryTreeList.add(qt);if (joinClause && ast.getParent() == joinOn) { // TOK_SUBQUERY join TOK_TABREF ,此处的TOK_SUBQUERY信息不应该清楚for (QueryTree entry : queryTreeList) { //当前的查询范围if (qt.getParent().equals(entry.getParent())) {queryMap.put(entry.getCurrent(), entry);

这篇关于HIVE数仓数据血缘分析工具-SQL解析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/866540。

相关文章

Python获取中国节假日数据记录入JSON文件

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢？我尝试一种更为智能的方法：P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验，
阅读更多...
Go标准库常见错误分析和解决办法

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO
阅读更多...
使用Jackson进行JSON生成与解析的新手指南

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON（序列化）2.2 JSON 转对象（反序列化）3.
阅读更多...
Springboot @Autowired和@Resource的区别解析

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@
阅读更多...
MySQL双主搭建+keepalived高可用的实现

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制，确认复制是否成功4.同
阅读更多...
SpringCloud动态配置注解@RefreshScope与@Component的深度解析

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.
阅读更多...
Java并发编程必备之Synchronized关键字深入解析

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.
阅读更多...
MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL？1.2 动态SQL的优点1.3 动态S
阅读更多...
Python基于wxPython和FFmpeg开发一个视频标签工具

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优
阅读更多...
Mysql表的简单操作(基本技能)

Mysql表的简单操作(基本技能)

《Mysql表的简单操作(基本技能)》在数据库中,表的操作主要包括表的创建、查看、修改、删除等,了解如何操作这些表是数据库管理和开发的基本技能,本文给大家介绍Mysql表的简单操作,感兴趣的朋友一起看... 目录3.1 创建表 3.2 查看表结构3.3 修改表3.4 实践案例：修改表在数据库中，表的操作主要
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2