Hive基本操作+库语法+表语法+内外表区别

2023-12-31 09:50

本文主要是介绍Hive基本操作+库语法+表语法+内外表区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一、一些基本hive操作

1、hive -e  +select 语句  

2、hive  -f   +  sql脚本文件

3、hive  -i

二、库相关语法

1、create  创建数据库

 2、drop  删除数据库

3、use  使用库

三、表相关语法

1、create 创建表

2、查看表

3、插入表数据 load / insert

4、修改表、删除表、清空表

四、内部表(MANAGED)、外部表(EXTERNAL)区别

五、作业

1、stored  as  的含义

2、hive中哪些操作会产生MapReduced?


一、一些基本hive操作

1、hive -e  +select 语句  

[root@hadoop ~]# hive -e 'select * from test0401;'
which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/home/peizk/app/jdk1.8.0_212/bin:/home/peizk/app/hadoop-3.1.3/bin:/home/peizk/app/hadoop-3.1.3/sbin:/home/peizk/app/hive-3.1.2/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/peizk/app/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/peizk/app/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 22d8f12f-d79a-4977-930a-5a87ceb7b143Logging initialized using configuration in jar:file:/home/peizk/app/hive-3.1.2/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true
Hive Session ID = 5f64da15-a0ea-4735-9d97-05b7bb248eaa
OK
test0401.id	test0401.name
1	zhangsan
Time taken: 2.285 seconds, Fetched: 1 row(s)

2、hive  -f   +  sql脚本文件

创建脚本

[root@hadoop ~]# vim test0404.sql

内容为

select *  from test0401;

执行

[root@hadoop ~]# hive -f test0404.sql 
which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/home/peizk/app/jdk1.8.0_212/bin:/home/peizk/app/hadoop-3.1.3/bin:/home/peizk/app/hadoop-3.1.3/sbin:/home/peizk/app/hive-3.1.2/bin:/root/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/peizk/app/hive-3.1.2/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/peizk/app/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Hive Session ID = 5290fc65-c2c9-40f3-a127-0a5417845229Logging initialized using configuration in jar:file:/home/peizk/app/hive-3.1.2/lib/hive-common-3.1.2.jar!/hive-log4j2.properties Async: true
Hive Session ID = e9664dbb-a7be-4441-be6a-fc3ff518a22c
OK
test0401.id	test0401.name
1	zhangsan
Time taken: 2.233 seconds, Fetched: 1 row(s)

3、hive  -i

定义UDF函数

二、库相关语法

hive默认有一个default库,对应HDFS地址为:  /user/hive/warehouse(在hive-site.xml 定义的)

1、create  创建数据库

#基本语句格式
create database [if not exists] database_name [location hdfs_path]#如果不加location,默认对应HDFS地址是:/user/hive/warehouse/test0404.db

带路径测试一下

hive (default)> create database test0404_b location '/dwd/database';
OK
Time taken: 0.043 seconds

查看如下

 2、drop  删除数据库

#基本语句格式
drop  database database_name###注意如果数据库中有表存在,不允许删除!!
如果需要删除
(1)提前将库中所有表删除
(2)使用cascade关键字
drop database if exists database_name cascade

3、use  使用库

(1) 使用某个库use  database_name(2) 查看库的属性信息desc  database  [extended]  database_name(3) 查看正在使用哪个库seect  current_database()此处也可以设置  hive-site.xml 中<property><name>hive.cli.print.current.db</name><value>true</value></property>
参数使得显示正在使用表(4) 查看创建库的详细语句show  create database database_name 

三、表相关语法

1、create 创建表

#基本格式create [external]  table  [if not exists] table_name [(
col_name  data_type  [comment  col_comment]
)]
[comment table_comment]
[partitiong by (col_name data_type [comment col_comment],....)] 
[clustered by (col_name,col_name,...)  into num_buckets buckets]
[row_format  row_format]
[stored as file_format]
[location hdfs_path]#解释partitiong by  :指定分区,hive中一个重要概念clustered by   :对于每一个表或者分区,hive可以进一步变为桶,hive采用对列值进行哈希,然后除以桶的个数求余的方式来决定该条记录存放在哪个桶中row_format     :一般是 row format delimited  fields terminated by ',' 指定表存储中列的分隔符,默认是  \001 (阿斯克码第一位),这里也可以定义其它分隔符stored as      : stored as  sequencefile | textfile    如果以纯文本存储 textfile ,如果以压缩格式存储 sequencefilelocation       :指定hive表在HDFS上的路径,外部表必须要指定,默认是内部表
#一些建表语句
(1)create table table_name like 存在表
只复制表机构,内无数据(2)create table table_name  as  select语句
CREATE external  TABLE emp_external (  EMPNO bigint, ENAME string, JOB string, MGR bigint, HIREDATE string, SAL bigint, COMM bigint, DEPTNO bigint)
row format delimited  fields terminated by ','
location '/dwd/';#创建外部表 并指定存在的数据文件,/dwd  下  有emp.txt  文件 

2、查看表

(1)查看表
show tables(2) 查看其它库的表
show  tables in database_name(3) 模糊查询表
show  tables  like  'test*'(4) 查看表的信息
desc  [formatted]  table_name(5) 查看表的建表语句
show create table table_name

3、插入表数据 load / insert

#  load 基本格式load  data  [local]  inpath  'filepath' [overwrite] into table  table_name  
[partition (partcol = val1,partcol = val2,....)]#  解释[local]  :代表本地文件系统,不加会去HDFS上去找inpath  :  加载数据的路径[overwrite] : 有则覆盖,无则追加[partition] :加载到哪个分区
# insert 基本格式 (1)insert into table ...  values()    自己造数据用的比较多
(2)insert overwrite table  partition (dt)  ...  select  xxx,yyy,zzz  from a join bgroup by ..

4、修改表、删除表、清空表

#修改表(1)修改表名
ALTER test_table old_name RENAME TO new_name(2)修改字段名
ALTER TABLE test_table CHANGE col1 col2 STRING COMMENT 'The datatype of col2 is STRING'(3)增加字段ALTER TABLE test_table ADD COLUMNS (dept STRING COMMENT 'Department name');(4)给表添加注释
ALTER TABLE test_table  SET TBLPROPERTIES ('comment' = '注释内容')(5)给字段修改注释
ALTER TABLE test_table  change column id id string comment '用户号码';注意:删除一个表的字段 和修改其类型不支持,一般给其注释添加 废弃
如必须要删除 某个字段,那么就替换所有字段
alter table table_name replace columns(col_naem data_type [comment col_comment],...)

##删除表drop table table_name

# 清空表 truncate table table_name 注意外部表不允许  truncate  会报错

四、内部表(MANAGED)、外部表(EXTERNAL)区别

最大不同:

内部表删除后,表和数据文件均删除;HDFS和Mysql的数据都被删除;

外部表删除后,表没了,location数据文件还在;Mysql中数据被删除,但是HDFS数据还在

总结:外部表不删除数据文件这个特点,方便数据共享,比如我们的原始数据和日志等

内部表可以作为我们中间表和结果表

五、思考

1、stored  as  的含义

hive数据存储的格式 主要有以下几种

2、hive中哪些操作会产生MapReduced?

hive 0.10.0为了执行效率考虑,简单的查询,就是只是select,不带count,sum,group by这样的,都不走map/reduce,直接读取hdfs文件进行filter过滤。这样做的好处就是不新开mr任务,执行效率要提高不少,但是不好的地方就是用户界面不友好,有时候数据量大还是要等很长时间,但是又没有任何返回。

改这个很简单,在hive-site.xml里面有个配置参数叫

hive.fetch.task.conversion

将这个参数设置为more,简单查询就不走map/reduce了,设置为minimal,就任何简单select都会走map/reduce

这篇关于Hive基本操作+库语法+表语法+内外表区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/555680

相关文章

Java逻辑运算符之&&、|| 与&、 |的区别及应用

《Java逻辑运算符之&&、||与&、|的区别及应用》:本文主要介绍Java逻辑运算符之&&、||与&、|的区别及应用的相关资料,分别是&&、||与&、|,并探讨了它们在不同应用场景中... 目录前言一、基本概念与运算符介绍二、短路与与非短路与:&& 与 & 的区别1. &&:短路与(AND)2. &:非短

C# 委托中 Invoke/BeginInvoke/EndInvoke和DynamicInvoke 方法的区别和联系

《C#委托中Invoke/BeginInvoke/EndInvoke和DynamicInvoke方法的区别和联系》在C#中,委托(Delegate)提供了多种调用方式,包括Invoke、Begi... 目录前言一、 Invoke方法1. 定义2. 特点3. 示例代码二、 BeginInvoke 和 EndI

MySQL常见的存储引擎和区别说明

《MySQL常见的存储引擎和区别说明》MySQL支持多种存储引擎,如InnoDB、MyISAM、MEMORY、Archive、CSV和Blackhole,每种引擎有其特点和适用场景,选择存储引擎时需根... 目录mysql常见的存储引擎和区别说明1. InnoDB2. MyISAM3. MEMORY4. A

在Dockerfile中copy和add的区别及说明

《在Dockerfile中copy和add的区别及说明》COPY和ADD都是Dockerfile中用于文件复制的命令,但COPY仅用于本地文件或目录的复制,不支持自动解压缩;而ADD除了复制本地文件或... 目录在dockerfile中,copy 和 add有什么区别?COPY 命令ADD 命令总结在Doc

解读Pandas和Polars的区别及说明

《解读Pandas和Polars的区别及说明》Pandas和Polars是Python中用于数据处理的两个库,Pandas适用于中小规模数据的快速原型开发和复杂数据操作,而Polars则专注于高效数据... 目录Pandas vs Polars 对比表使用场景对比Pandas 的使用场景Polars 的使用

Java中ArrayList和LinkedList有什么区别举例详解

《Java中ArrayList和LinkedList有什么区别举例详解》:本文主要介绍Java中ArrayList和LinkedList区别的相关资料,包括数据结构特性、核心操作性能、内存与GC影... 目录一、底层数据结构二、核心操作性能对比三、内存与 GC 影响四、扩容机制五、线程安全与并发方案六、工程

java如何通过Kerberos认证方式连接hive

《java如何通过Kerberos认证方式连接hive》该文主要介绍了如何在数据源管理功能中适配不同数据源(如MySQL、PostgreSQL和Hive),特别是如何在SpringBoot3框架下通过... 目录Java实现Kerberos认证主要方法依赖示例续期连接hive遇到的问题分析解决方式扩展思考总

java中不同版本JSONObject区别小结

《java中不同版本JSONObject区别小结》本文主要介绍了java中不同版本JSONObject区别小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录1. FastjsON2. Jackson3. Gson4. org.json6. 总结在Jav

数据库使用之union、union all、各种join的用法区别解析

《数据库使用之union、unionall、各种join的用法区别解析》:本文主要介绍SQL中的Union和UnionAll的区别,包括去重与否以及使用时的注意事项,还详细解释了Join关键字,... 目录一、Union 和Union All1、区别:2、注意点:3、具体举例二、Join关键字的区别&php

java中的HashSet与 == 和 equals的区别示例解析

《java中的HashSet与==和equals的区别示例解析》HashSet是Java中基于哈希表实现的集合类,特点包括:元素唯一、无序和可包含null,本文给大家介绍java中的HashSe... 目录什么是HashSetHashSet 的主要特点是HashSet 的常用方法hasSet存储为啥是无序的