Hive源码本地IDEA调试的正确姿势

2024-09-03 11:38
文章标签 源码 idea 调试 正确 本地 hive 姿势

本文主要是介绍Hive源码本地IDEA调试的正确姿势，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Hive源码本地IDEA调试的正确姿势

    • 背景
    • 环境准备
    • 初始化配置
      • 修改配置
      • 初始化元数据库
      • 编译代码
    • 启动HiveMetaStore
    • 启动Hive sql客户端
      • Client Driver模式
      • HiveServer2模式
        • 启动HiveServer2
        • 启动beeline客户端
          • 本地启动
          • 远程启动
    • 总结

背景

Hive作为最最基础的大数据框架，可以说，没装Hive，就等于没有大数据这回事。Hive的功能也越来越强大，经过大多数用户市场的检验，也诞生许多稳定的版本。所以，大多数人把Hive当成黑盒使用，只需要明白其原理。但是，万一某种情况下，你的需求里出现未知bug或者有新的需求需要改造的时候，这时你不得不跟Hive源码打交道。本人在最近的Hive bug修复和开发中也走了不少弯路，网上的教程要么是依赖外部环境太重，要么问题重重，找不到像样的，现在总结出来给各位，避免踩坑。

环境准备

  • Hive
    这里选用hive2.3.7版本，2.x版本中的稳定版，不算太新，也不算太老

    源码下载： http://mirror.bit.edu.cn/apache/hive/stable-2/apache-hive-2.3.7-src.tar.gz

  • Ubuntu 或Mac os

​ 这里重点说明下，windows并不适合大型项目的开发调试，会涉及到许多环境问题，使用unix系统更适合，有条件的可以使用Mac，没条件的推荐使用 ubuntu系统，使用win系统不适合本教程

  • thrift

    由于Hive的Hiveserver2和Metastore组件本质上都是一个Thrift Server，可以满足跨语言间的RPC通信。注意Thrift有严格的版本要求，环境的版本需要与代码里保持一致,在pom.xml文件 <libthrift.version>标识即版本，本次教程安装的是thrift0.9.3

    安装：

    wget  http://mirror.bit.edu.cn/apache/thrift/0.9.3/thrift-0.9.3.tar.gz .
tar -zxvf thrift-0.9.3.tar.gz
cd thrift-0.9.3
sudo apt-get install libssl1.0-dev                #不装libssl1.0-dev安装会失败
./configure --prefix=/home/lijufeng/tmp/thrift    #这里/home/lijufeng/tmp/thrift为thrift安装目录，后面要用到
sudo make
sudo make install

  • jdk1.8

  • maven3

  • mysql5.7或mysql8

  • IDEA

    项目比较大，idea的本身运行内存和编译内存设置大点，编译内存设置如下

    微信图片_20210110171514.png
    特别说明下：本地调试和运行hive-sql不需要依赖和安装hadoop，表数据文件存放本地系统目录不依赖hdfs，计算也不依赖yarn！

初始化配置

修改配置

  • 修改配置文件hive-site.xml：

​ 由于不依赖hdfs，hive的数据都放本地目录

cd apache-hive-2.3.7-src
vi conf/hive-site.xml<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>datanucleus.schema.autocreateall</name><value>false</value></property><property><name>hive.metastore.warehouse.dir</name><value>file:///tmp/hive/warehouse</value></property><property><name>fs.default.name</name><value>file:///tmp/hive</value></property><property><name>hive.security.authorization.manager</name><value>org.apache.hadoop.hive.ql.security.authorization.DefaultHiveMetastoreAuthorizationProvider</value><description>The hive client authorization manager class name.</description></property><property><name>hive.metastore.uris</name><value>thrift://127.0.0.1:9083</value></property><property><name>hive.privilege.synchronizer</name><value>false</value></property>
</configuration>

注意一定要严格按照上面的配置去改，尤其是datanucleus.schema.autocreateall配置项，不然后面HiveMetaStore起不来，网上也没有任何答案！

  • 修改pom.xml文件

    vim pom.xml
# 把上面thrift的安装路径填上去
<thrift.home>/home/lijufeng/tmp/thrift</thrift.home>

     vim cli/pom.xml# 把hive-site.xml等配置文件打包<build><resources><resource><directory>../conf</directory><includes><include>*.*</include></includes></resource></resources></build>
# 把 <scope>test</scope> 改成 <scope>runtime</scope> 
<dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>${commons-io.version}</version><scope>runtime</scope>
</dependency>
<dependency><groupId>com.lmax</groupId><artifactId>disruptor</artifactId><version>${disruptor.version}</version><scope>runtime</scope>
</dependency>

    vim metastore/pom.xml
# 把hive-site.xml等配置文件打包<build><resources><resource><directory>../conf</directory><includes><include>*.*</include></includes></resource></resources></build># 把 <scope>test</scope> 改成 <scope>runtime</scope>
<dependency><groupId>com.lmax</groupId><artifactId>disruptor</artifactId><version>${disruptor.version}</version><scope>runtime</scope>
</dependency>#添加mysql jdbc驱动包依赖，我这里用的是mysql8
<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.22</version>
</dependency>

    vim service/pom.xml
# hive-site.xml等配置文件打包<build><resources><resource><directory>../conf</directory><includes><include>*.*</include></includes></resource></resources></build>

    vim beeline/pom.xml# 把 <scope>test</scope> 改成 <scope>runtime</scope>
<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>${hadoop.version}</version><scope>runtime</scope>
</dependency>

  • 修改HiveConf.java文件，修改参数默认值

    hive.in.test=true
hive.in.tez.test=true
hive.exec.mode.local.auto=true

  • 修改apache-hive-2.3.7-src/metastore/if/hive_metastore.thrift文件第25行

    vim apache-hive-2.3.7-src/metastore/if/hive_metastore.thrift
# 找到自己的thrift下载的源码路径（编译前）,注意不是安装路径，25行替换成如下
include "/home/lijufeng/tmp/thrift-0.9.3/contrib/fb303/if/fb303.thrift"

初始化元数据库

mysql -uroot -p123456
create database hive;
use hive;
source /home/lijufeng/tmp/apache-hive-2.3.7-src/metastore/scripts/upgrade/mysql/hive-schema-2.3.0.mysql.sql
source /home/lijufeng/tmp/apache-hive-2.3.7-src/metastore/scripts/upgrade/mysql/hive-txn-schema-2.3.0.mysql.sql

这里要注意，源码路径apache-hive-2.3.7-src/metastore/scripts/upgrade/mysql/下有很多个版本的sql文件，对应不同版本，这里三hive2.3.7版本，对应

hive-schema-2.3.0.mysql.sql、hive-txn-schema-2.3.0.mysql.sql两个文件

编译代码

如图

微信图片_20210110220847.png

也可以执行编译命令：

mvn clean compile -Dmaven.test.skip=true -P thriftif,protobuf

启动HiveMetaStore

HiveMetaStore是hive最核心的组件，没有之一，可以没有HiveServer2，但是一定不能没有HiveMetaStore

修改metastore/pom.xml文件，加上下面依赖

    <dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>${project.version}</version><scope>runtime</scope></dependency>

一定要注意！必须编译完后再修改这个pom文件，不然会产生循环依赖的报错！修改完后一定要导入maven，点红圈圈里面

微信图片_20210110223800.png

细节决定成败，一步都不能落下！

找到org.apache.hadoop.hive.metastore.HiveMetaStore类后，以下两项相当重要：

  1. 把主类的启动前自动编译禁掉，不然会报循环依赖的错误编译不通过
  2. 检查hive-site.xml是否文件在target/classes下，如果不在，请检查上面的pom.xml文件配置

启动main方法:

在这里插入图片描述

启动成功后查看9083端口是否成功被占用

sudo netstat -tunlp | grep 9083

启动Hive sql客户端

Hive的sql客户端启动有两种方式，一种是基于CliDriver的方式，sql的解析提交和监控管理都在本地进程中，也是最早的hive版本的启动形式；另一种的基于HiveServer2模式，需要使用beeline客户端或者jdbc的方式进行连接，这种方式中用户的客户端提交sql后都在HiveServer2中完成解析和提交。

Client Driver模式

启动主类org.apache.hadoop.hive.cli.CliDriver,注意都禁止启动前的自动编译！

微信图片_20210110231055.png

启动成功后会提供一个交互式的窗口，可以自由的执行sql，同时也可以执行计算型的sql，默认引擎是mr，但是不跑在yarn上，跑在本的，方便debug

HiveServer2模式

启动HiveServer2

启动主类org.apache.hive.service.server.HiveServer2,注意都禁止启动前的自动编译！

微信图片_20210111091734.png

启动后查看端口是否被成功占用

sudo netstat -tunlp | grep 10000
启动beeline客户端

beeline客户端启动有两种方式，一种是启动源码的类org.apache.hive.beeline.BeeLine的方式，这里就叫本地启动；另一种是在你任意一台安装了hive的机器上，注意网络要通，启动beeline命令行连接，这里叫做远程启动

本地启动
vi beeline/pom.xml
# 把 <scope>test</scope> 改成 <scope>runtime</scope><dependency><groupId>org.apache.hive</groupId><artifactId>hive-service</artifactId><version>${project.version}</version><scope>runtime</scope>
</dependency>

记得改完后务必导入maven依赖！！

启动主类org.apache.hive.beeline.BeeLine,传入args参数-u jdbc:hive2://127.0.0.1:10000 -n hive -p hive注意都禁止启动前的自动编译！

微信图片_20210111094209.png

同样会生成一个sql交互窗口，跟你平常执行hive sql一样的效果

微信图片_20210111094357.png

远程启动

这种方式可能就是平常工作用的方式，找一台已经装过hive的任意机器，网络要通，执行连接命令：

beeline -u jdbc:hive2://你机器的ip:10000 -n hive -p hive

这里要注意安装的hive版本与源码版本中，保证thrift版本必须一致才行！

微信图片_20210111105201.png

总结

关于Hive源码调试的方法，或许还有更好的办法，此篇文章也是作为小白一步一步踩坑总结出来的。期间修复了两个Hive3.1.0的bug，一个已提交pr到官方社区

HIVE-24609，另一个Hive时区导致相差8小时的问题也已提交到自己维护的代码仓库，timestamp-utc8-fix 。希望本篇教程对你有用，一定要严格按照上面教程去配置，非常多细节的东西，一不注意就run不起来，动动手，告别黑盒式的Hive，自己本地跑起来，收货会很大。

这篇关于Hive源码本地IDEA调试的正确姿势的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1132865。

相关文章

golang1.23版本之前 Timer Reset方法无法正确使用

golang1.23版本之前 Timer Reset方法无法正确使用

《golang1.23版本之前TimerReset方法无法正确使用》在Go1.23之前,使用`time.Reset`函数时需要先调用`Stop`并明确从timer的channel中抽取出东西,以避... 目录golang1.23 之前 Reset ​到底有什么问题golang1.23 之前到底应该如何正确的
阅读更多...
IDEA如何切换数据库版本mysql5或mysql8

IDEA如何切换数据库版本mysql5或mysql8

《IDEA如何切换数据库版本mysql5或mysql8》本文介绍了如何将IntelliJIDEA从MySQL5切换到MySQL8的详细步骤,包括下载MySQL8、安装、配置、停止旧服务、启动新服务以及... 目录问题描述解决方案第一步第二步第三步第四步第五步总结问题描述最近想开发一个新应用，想使用mysq
阅读更多...
IDEA如何将String类型转json格式

IDEA如何将String类型转json格式

《IDEA如何将String类型转json格式》在Java中,字符串字面量中的转义字符会被自动转换,但通过网络获取的字符串可能不会自动转换,为了解决IDEA无法识别JSON字符串的问题,可以在本地对字... 目录问题描述问题原因解决方案总结问题描述最近做项目需要使用Ai生成json，可生成String类型
阅读更多...
C++中实现调试日志输出

C++中实现调试日志输出

《C++中实现调试日志输出》在C++编程中,调试日志对于定位问题和优化代码至关重要,本文将介绍几种常用的调试日志输出方法,并教你如何在日志中添加时间戳,希望对大家有所帮助... 目录1. 使用 #ifdef _DEBUG 宏2. 加入时间戳：精确到毫秒3.Windows 和 MFC 中的调试日志方法MFC
阅读更多...
Idea调用WebService的关键步骤和注意事项

Idea调用WebService的关键步骤和注意事项

《Idea调用WebService的关键步骤和注意事项》：本文主要介绍如何在Idea中调用WebService,包括理解WebService的基本概念、获取WSDL文件、阅读和理解WSDL文件、选... 目录前言一、理解WebService的基本概念二、获取WSDL文件三、阅读和理解WSDL文件四、选择对接
阅读更多...
idea如何开启菜单栏

idea如何开启菜单栏

《idea如何开启菜单栏》文章介绍了如何通过修改IntelliJIDEA的样式文件`ui.lnf.xml`来重新显示被关闭的菜单栏,并分享了解决问题的步骤... 目录ijsdea开启菜单栏第一步第二步总结idea开启菜单栏手贱关闭了idea的js菜单栏，花费了半个小时终于解决，记录并分享一下第一步找
阅读更多...
使用IntelliJ IDEA创建简单的Java Web项目完整步骤

使用IntelliJ IDEA创建简单的Java Web项目完整步骤

《使用IntelliJIDEA创建简单的JavaWeb项目完整步骤》：本文主要介绍如何使用IntelliJIDEA创建一个简单的JavaWeb项目,实现登录、注册和查看用户列表功能,使用Se... 目录前置准备项目功能实现步骤1. 创建项目2. 配置 Tomcat3. 项目文件结构4. 创建数据库和表5.
阅读更多...
springboot 加载本地jar到maven的实现方法

springboot 加载本地jar到maven的实现方法

《springboot加载本地jar到maven的实现方法》如何在SpringBoot项目中加载本地jar到Maven本地仓库,使用Maven的install-file目标来实现,本文结合实例代码给... 在Spring Boothttp://www.chinasem.cn项目中，如果你想要加载一个本地的ja
阅读更多...
最新版IDEA配置 Tomcat的详细过程

最新版IDEA配置 Tomcat的详细过程

《最新版IDEA配置Tomcat的详细过程》本文介绍如何在IDEA中配置Tomcat服务器,并创建Web项目,首先检查Tomcat是否安装完成,然后在IDEA中创建Web项目并添加Web结构,接着,... 目录配置tomcat第一步，先给项目添加Web结构查看端口号配置tomcat    先检查自己的to
阅读更多...
Java汇编源码如何查看环境搭建

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》：本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2