[喵咪大数据]Hive2搭建和基本操作

2024-05-31 07:18

本文主要是介绍[喵咪大数据]Hive2搭建和基本操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

[喵咪大数据]Hive2搭建和基本操作

说的Hadoop生态有一个不得不提的组件那就是,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇总,大大减少了早期需要使用MapReduce编程的烦扰,今天就和笔者一起来探索Hive的实际应用场景吧.

附上:
HIVE官网地址:Apache Hive TM
喵了个咪的博客:w-blog.cn

1.环境配置

hadoop集群环境需要提前配置好,可以在master上进行搭建也可以单独一台机器进行搭建这里使用一台独立的centos7.X 64位服务器进行Hive服务搭建并且连接到之前的Hadoop集群

通过oneinstack配置环境

> mkdir -p /app/install && cd /app/install
> wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz
> tar -zxvf oneinstack-full.tar.gz 
# 安装选择mysql5.7 密码为 hive666
> cd oneinstack && ./install.sh

关闭防火墙(端口通讯会被拦截)

> systemctl stop firewalld.service    # 关闭firewall
> systemctl disable firewalld.service # 禁止firewall开机启动

分别修改服务器的主机名

# 最后主机名会全小写状态显示
> hostnamectl set-hostname hive

修改服务器的host 和hadoop节点建立关联

> vim /etc/hosts
192.168.1.101 hadoop-1
192.168.1.102 hadoop-2
192.168.1.103 hadoop-3

使用 Hive 需要Java 和 hadoop 环境 我们从之前的 hadoop-1 把相对应的包复制过来

> scp -r /usr/local/jdk1.8 root@192.168.1.104:/usr/local/jdk1.8
> scp -r /usr/local/hadoop-2.7.3 root@192.168.1.104:/usr/local/hadoop-2.7.3

增加java和hadoop的环境变量

# java
export JAVA_HOME=/usr/local/jdk1.8
export JRE_HOME=/usr/local/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH# hadoop
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

准备hive软件包 之后需要Hive和Hbase进行结构上的管理和与Spark关联进行查询上的效率提高这里选用Hive2.3.0版本

apache-hive-2.3.0-bin.tar.gz

创建hadoop用户

> useradd -m hadoop -s /bin/bash
> passwd hadoop

2.安装配置

安装HIVE

解压安装Hive

> cd /app/install
> tar -zxvf apache-hive-2.3.0-bin.tar.gz
> mv apache-hive-2.3.0-bin /usr/local/hive-2.3.0

设置 Hive环境变量

> vim /etc/profile
# hive
export HIVE_HOME=/usr/local/hive-2.3.0
export PATH=$PATH:$HIVE_HOME/bin
# 让配置生效
> source /etc/profile

配置Hive2.X

配置文件重命名
在运行 Hive 之前需要使用以下命令修改配置文件:

> cd /usr/local/hive-2.3.0/conf
> cp hive-env.sh.template hive-env.sh
> cp hive-default.xml.template hive-site.xml
> cp hive-log4j2.properties.template hive-log4j2.properties
> cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

修改hive-env.sh因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径:

> vim hive-env.sh
export JAVA_HOME=/usr/local/jdk1.8   ##Java路径
export HADOOP_HOME=/usr/local/hadoop-2.7.3   ##Hadoop安装路径
export HIVE_HOME=/usr/local/hive-2.3.0    ##Hive安装路径
export HIVE_CONF_DIR=/usr/local/hive-2.3.0/conf    ##Hive配置文件路径

在hive机器切换到hadoop用户创建hive数据存放目录

> su hadoop
# 创建HDFS目录
> hdfs dfs -mkdir -p /hive
> hdfs dfs -chmod 777  /hive
> hdfs dfs -mkdir -p /hive/warehouse
> hdfs dfs -mkdir -p /hive/tmp
> hdfs dfs -mkdir -p /hive/log
> hdfs dfs -chmod 777 /hive/warehouse
> hdfs dfs -chmod 777 /hive/tmp
> hdfs dfs -chmod 777 /hive/log

一些复杂的查询或操作会使用的MR程序,应为执行MR程序需要tmp目录中的yarn权限所有如果不是以hadoop用户权限执行不然会有如下异常

org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=EXECUTE, inode="/tmp/hadoop-yarn/staging/hive/.staging":hadoop:supergroup:drwx------
# 解决方式
> hdfs dfs -chmod -R 777 /tmp

将 hive-site.xml 文件中以下几个配置项的值设置成上一步中创建的几个路径。

> vim /usr/local/hive-2.3.0/conf/hive-site.xml
<property><name>hive.exec.scratchdir</name><value>/hive/tmp</value><description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description></property><property><name>hive.metastore.warehouse.dir</name><value>/hive/warehouse</value><description>location of default database for the warehouse</description></property>
<property><name>hive.querylog.location</name><value>/hive/log</value><description>Location of Hive run time structured log file</description></property>

Hive Metastore

默认情况下, Hive 的元数据保存在内嵌的 Derby 数据库里, 但一般情况下生产环境会使用 MySQL 来存放 Hive 元数据。
创建数据库和用户
假定你已经安装好 MySQL。下面创建一个 hive 数据库用来存储 Hive 元数据,且数据库访问的用户名和密码都为 hive。

mysql -u root -p
mysql> CREATE DATABASE hive;
mysql> USE hive;
mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive';
mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
mysql> FLUSH PRIVILEGES;
mysql> quit;

修改hive-site.xml需要在 hive-site.xml 文件中配置 MySQL 数据库连接信息。

> vim /usr/local/hive-2.3.0/conf/hive-site.xml
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value></property>

初始化Hive

在命令行运行 hive 命令时必须保证以下两点:
HDFS 已经启动。
MySQL Java 连接器添加到 $HIVE_HOME/lib 目录下。我安装时使用的是 mysql-connector-java-5.1.42.jar。

> cd /usr/local/hive-2.3.0/lib
> wget http://download.softagency.net/mysql/Downloads/Connector-J/mysql-connector-java-5.1.42.zip
> unzip mysql-connector-java-5.1.42.zip
> cp mysql-connector-java-5.1.42/mysql-connector-java-5.1.42-bin.jar /usr/local/hive-2.3.0/lib/
> rm -rf mysql-connector-java-5.1.42.zip

从 Hive 2.1 版本开始, 我们需要先运行 schematool 命令来执行初始化操作。

schematool -dbType mysql -initSchema

最后会输出

schemaTool completed

我们可以通过数据库查看终端查看hive库中已经存在部分内容
要使用 Hive CLI(Hive command line interface), 可以在终端输入以下命令:

hive> show tables;
OK
Time taken: 0.839 seconds

如果报出异常

Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

需要将 hive-site.xml 中的 system:java.io.tmpdir {system:user.name} 分别替换成 /tmp 和 ${user.name}

3.基本操作

创建库

CREATE DATABASE语句

// 创建库如果存在则不创建
CREATE DATABASE IF NOT EXISTS userdb;m
// 创建数据库如果存在则会报错
CREATE SCHEMA userdb;

下面的查询用于验证数据库列表:

hive> SHOW DATABASES;
default
userdb

删除数据库

// 删除库如果存在则不删除
DROP DATABASE IF EXISTS userdb;
// 删除数据库必须要删除完其中的表草能删除
DROP DATABASE IF EXISTS userdb CASCADE;
// 删除数据库
DROP SCHEMA userdb;

选择数据库

USE userdb;

Hive创建表

最简单的方式创建表

CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String);

通过COMMENT可以增加一个备注可以给整表或字段

CREATE TABLE IF NOT EXISTS employee ( eid int COMMENT 'eid details', name String, salary String, destination String)
COMMENT 'Employee details';
CREATE TABLE IF NOT EXISTS employee ( eid int, name String, salary String, destination String)
COMMENT 'Employee details'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '
STORED AS TEXTFILE;

通过TERMINATED可以指定了字段的分隔符为\t分列是\n,所以load数据的时候,load的文本也要为\t分隔\n分行,否则加载后为NULL。hive只支持单个字符的分隔符,hive默认的分隔符是\001

存储类型Hive具有三类自带存储类型TEXTFILE和SEQUENCEFILE,RCFILE可以通过STORED指定
- TEXTFIEL:默认格式,数据不做压缩,磁盘开销大,数据解析开销大。
- SEQUENCEFILE:SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。
- RCFILE:RCFILE是一种行列存储相结合的存储方式。首先,其将数据按行分块,保证同一个record在一个块上,避免读一个记录需要读取多个block。其次,块数据列式存储,有利于数据压缩和快速的列存取。RCFILE文件示例:
相比TEXTFILE和SEQUENCEFILE,RCFILE由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。数据仓库的特点是一次写入、多次读取,因此,整体来看,RCFILE相比其余两种格式具有较明显的优势

下面的查询用于查看当前库表列表:

hive> SHOW TABLES;
OK
employee

查看表信息

desc formatted employee;
desc employee;

删除表

DROP TABLE IF EXISTS employee;

Alter Table 语句

修改表名称

ALTER TABLE employee RENAME TO emp;

Change 语句

修改字段名称和字段类型

# 修改name为ename 类型不变还是String
ALTER TABLE employee CHANGE name ename String;
# 修改salary名称不变 类型修改为Double
ALTER TABLE employee CHANGE salary salary Double;

增加了一个列名dept在employee表中

ALTER TABLE employee ADD COLUMNS ( dept STRING COMMENT 'Department name');

插入数据

重新创建employee表,在本地文件系统准备文本sample.txt

vim /home/hive/sample.txt
1201 Gopal 45000 Technicalmanager
1202 Manisha 45000 Proofreader
1203 Masthanvali 40000 Technicalwriter
1204 Kiran 40000 HrAdmin
1205 Kranthi 30000 OpAdmin

加载给定文本插入表中(LOAD DATA只是把文件复制到指定的目录下,多次操作只会保留最后一次)

LOAD DATA LOCAL INPATH '/home/hive/sample.txt'
OVERWRITE INTO TABLE employee;

插入单条数据(消耗时间很长,可以结合Hbase来达到实时增加数据)

INSERT INTO TABLE employee values(12,"1","1","1");

查询是否插入成功

select * from employee;
OK
12      1       1       1
1201    Gopal   45000   Technicalmanager
1202    Manisha 45000   Proofreader
1203    Masthanvali     40000   Technicalwriter
1204    Kiran   40000   HrAdmin
1205    Kranthi 30000   OpAdmin
Time taken: 0.063 seconds, Fetched: 5 row(s)

Select

相关查询操作可以参考
Hive内置运算符 - Hive教程™
Hive内置函数 - Hive教程™
Hive视图和索引 - Hive教程™
HiveQL Select Where - Hive教程™
HiveQL Select Order By - Hive教程™
HiveQL Select Group By - Hive教程™
HiveQL Select Join - Hive教程™

4 总结

Hive可以以结构化的方式来存储数据还可以使用SQL的方式来检索出你所需要的数据集给开发人员带来了不少方便,但是Hive也存在问题,单条记录增加繁琐,速度相对比较慢,但是在Hadoop生态中还有一个大家经常使用到的组件那就是Hbase,下节我们就一同来学习Hbase的使用.

注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!

这篇关于[喵咪大数据]Hive2搭建和基本操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1017553

相关文章

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

本地搭建DeepSeek-R1、WebUI的完整过程及访问

《本地搭建DeepSeek-R1、WebUI的完整过程及访问》:本文主要介绍本地搭建DeepSeek-R1、WebUI的完整过程及访问的相关资料,DeepSeek-R1是一个开源的人工智能平台,主... 目录背景       搭建准备基础概念搭建过程访问对话测试总结背景       最近几年,人工智能技术

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt

在Rust中要用Struct和Enum组织数据的原因解析

《在Rust中要用Struct和Enum组织数据的原因解析》在Rust中,Struct和Enum是组织数据的核心工具,Struct用于将相关字段封装为单一实体,便于管理和扩展,Enum用于明确定义所有... 目录为什么在Rust中要用Struct和Enum组织数据?一、使用struct组织数据:将相关字段绑

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate

Java实现Elasticsearch查询当前索引全部数据的完整代码

《Java实现Elasticsearch查询当前索引全部数据的完整代码》:本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数(scrol... 目录需求背景通常情况Java 实现查询 Elasticsearch 全部数据写在最后需求背景通常情况下

5分钟获取deepseek api并搭建简易问答应用

《5分钟获取deepseekapi并搭建简易问答应用》本文主要介绍了5分钟获取deepseekapi并搭建简易问答应用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需... 目录1、获取api2、获取base_url和chat_model3、配置模型参数方法一:终端中临时将加