hadoop搭建本地hive库保姆级教程

2024-06-17 19:12

本文主要是介绍hadoop搭建本地hive库保姆级教程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

安装本地hive

安装的前提是hadoop完全分布式可以正常的跑起来

第一部分:安装mysql8.0

1.安装wget工具

yum  -y  install wget

2.通过wget工具下载mysql源文件

注意:以下版本过高,后面安装MySQL源会失败,所以建议刚开始尝试换成低版本的

wget http://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm #高版本
wget http://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm #低版本

3.安装Mysql源

yum install -y mysql80-community-release-el7-7.noarch.rpm 

4. 安装MySQL

yum install  mysql-community-server  -y  --nogpgcheck

注意1:–nogpgcheck表示不检查gpg密钥

注意2:如果总是报密钥gpg错误,则删除之前旧的gpg密钥

在这里插入图片描述

5. 启动MYSQL服务

systemctl  start mysqld

6. 查看MYSQL初始密码

cat /var/log/mysqld.log | grep password 

7. 登录MYSQL并修改root账号的密码为LaoCai@2024

# 先登录
mysql -uroot -p # 回车后输入初始密码,后登录

在这里插入图片描述

# 修改密码,注意修改的密码要和后面配置 hive-site.xml文件时内容保持一致
alter  user  'root'@'localhost'  identified by 'LaoCai@2024';

8. 设置为允许远程登录

use mysql;select user,host from user;update user set host='%'  where user='root';flush privileges;

第二部分:安装hive

【说明】:hive支持3种部署模式,分别是内嵌模式、本地模式和远程模式

1)内嵌模式:使用Hive内嵌的Derby数据库存储元数据,不能共享元数据,仅用于测试环境。

2)本地模式:使用mysql存储元数据,但是用户只能在Hive部署的服务器上连接Hive进行操作。

3)远程模式:也是使用mysql存储元数据,但是用户可以在任意服务器上远程连接Hive并进行操作。Hive提供了MetaStore和HiveServer2两种服务实现远程连接。HiveServer2服务基于Thrift实现,提供了使用JDBC和ODBC连接Hive的功能。用户通过HiveServer2服务远程连接Hive时,需要提前启动MetaStore服务。

1.上传hive安装包到hadoop03机器的/export/servers目录

在这里插入图片描述

2. 解压hive安装包并重命名为hive

# 先解压
tar  -zxvf  apache-hive-3.1.2-bin.tar.gz
# 再重命名
mv  apache-hive-3.1.2-bin  hive

注意]:hadoop和hive的运行都依赖jar包guava.jar,但是它们默认使用该jar包的版本不一致可能会有jar包冲突问题,所以需要用hadoop下的jar包替换hive中的

# 先进入目录
cd /export/servers/hadoop313/share/hadoop/common/lib
# 再把新的guava-27.0-jre.jar复制到 /export/servers/hive/lib/下。
cp  guava-27.0-jre.jar /export/servers/hive/lib/
# 最后进入到/export/servers/hive/lib/再把旧的删除
cd /export/servers/hive/lib/
rm -rf guava-19.0.jar

4. 配置环境变量

编辑/etc/profile,添加如下代码:

export  hive_home=/export/servers/hive
export  PATH=$hive_home/bin:$PATH

保存并退出后使用 source /etc/profile生效

5. 修改hive配置文件(如果没有,则需要自己添加hive-site.xml文件)

注意:第18行的mysql密码要和你自己设置的密码保持一致

进入hive安装目录下的conf目录,编辑 hive-site.xml文件,内容如下:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true </value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.cj.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>LaoCai@2024</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive_local/warehouse</value></property>
</configuration>

6. 上传MySQL驱动包到lib目录(需要自己提前准备,或网上下载)

先进入:/export/servers/hive/lib

然后上传mysql-connector-java-8.0.30.jar

7. 初始化MySQL

【注意】:要提前启动hadoop完全分布式集群,通过jps查看一下,是不是543形式的进程

schematool  -initSchema  -dbType  mysql

8. 连接hive

hive

9. 创建数据库(使用数据库命令时记得以分号结尾)

create database  testdb1;   # 创建数据库
show databases;				# 查看数据库

这篇关于hadoop搭建本地hive库保姆级教程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1070308

相关文章

一份LLM资源清单围观技术大佬的日常;手把手教你在美国搭建「百万卡」AI数据中心;为啥大模型做不好简单的数学计算? | ShowMeAI日报

👀日报&周刊合集 | 🎡ShowMeAI官网 | 🧡 点赞关注评论拜托啦! 1. 为啥大模型做不好简单的数学计算?从大模型高考数学成绩不及格说起 司南评测体系 OpenCompass 选取 7 个大模型 (6 个开源模型+ GPT-4o),组织参与了 2024 年高考「新课标I卷」的语文、数学、英语考试,然后由经验丰富的判卷老师评判得分。 结果如上图所

Steam邮件推送内容有哪些?配置教程详解!

Steam邮件推送功能是否安全?如何个性化邮件推送内容? Steam作为全球最大的数字游戏分发平台之一,不仅提供了海量的游戏资源,还通过邮件推送为用户提供最新的游戏信息、促销活动和个性化推荐。AokSend将详细介绍Steam邮件推送的主要内容。 Steam邮件推送:促销优惠 每当平台举办大型促销活动,如夏季促销、冬季促销、黑色星期五等,用户都会收到邮件通知。这些邮件详细列出了打折游戏、

X-AnyLabeling使用教程

1.AI 模型自动分割标注使用教程 2.AI 模型自动目标检测标注使用教程

【网络安全的神秘世界】搭建dvwa靶场

🌝博客主页:泥菩萨 💖专栏:Linux探索之旅 | 网络安全的神秘世界 | 专接本 | 每天学会一个渗透测试工具 下载DVWA https://github.com/digininja/DVWA/blob/master/README.zh.md 安装DVWA 安装phpstudy https://editor.csdn.net/md/?articleId=1399043

青龙面板2.9之Cdle傻妞机器人编译教程

看到有的朋友对傻妞机器人感兴趣,这里写一下傻妞机器人的编译教程。 第一步,这里以linux amd64为例,去官网下载安装go语言安装包: 第二步,输入下方指令 cd /usr/local && wget https://golang.google.cn/dl/go1.16.7.linux-amd64.tar.gz -O go1.16.7.linux-amd64.tar.gz

青龙面板部署通用教程,含服务器、路由器、X86等部署方法

1. 拉取镜像/更新镜像 docker pull whyour/qinglong:latest 2. 删除镜像 docker rmi whyour/qinglong:latest 3. 启动容器 普通服务器 docker run -dit \-v $PWD/ql/config:/ql/config \-v $PWD/ql/log:/ql/log \-v $PWD/ql/db:

宝塔面板部署青龙面板教程【简单易上手】

首先,你得有一台部署了宝塔面板的服务器(自己用本地电脑也可以)。 宝塔面板部署自行百度一下,很简单,这里就不走流程了,官网版本就可以,无需开心版。 首先,打开宝塔面板的软件商店,找到下图这个软件(Docker管理器)安装,青龙面板还是安装在docker里,这里依赖宝塔面板安装和管理docker。 安装完成后,进入SSH终端管理,输入代码安装青龙面板。ssh可以直接宝塔里操作,也可以安装ssh连接

局域网内vue2 配置本地IP地址访问项目

在日常开发中同事可能需要访问你的前端项目,可以通过配置实现通过ip访问 一.首先找到config文件夹目录下的 index.js文件             将此处的host的值修改为0.0.0.0(即 host: 0.0.0.0) // Various Dev Server settings//host: 'localhost' //将localhost进行替换成 0.0.0.0host:

PS系统教程25

介绍软件 BR(bridge) PS 配套软件,方便素材整理、管理素材 作用:起到桥梁作用 注意:PS和BR尽量保持版本一致 下载和安装可通过CSDN社区搜索,有免费安装指导。 安装之后,我们打开照片只需双击照片,就自动在Ps软件中打开。 前提:电脑上有PS软件 三种预览格式 全屏预览 评星级 直接按数字键就可以 方向键可以更换图片 esc退出 幻灯片放

BD错误集锦9——查询hive表格时出错:Wrong FS: hdfs://s233/user/../warehouse expected: hdfs://mycluster

集群环境描述:HDFS集群处于HA模式下,同时启动了YARN\JN\KAFKA\ZK。 现象: FAILED: SemanticException Unable to determine if hdfs://s233/user/hive/warehouse/mydb.db/ext_calllogs_in_hbase is encrypted: java.lang.IllegalArgument