本文主要是介绍Python大数据之Hadoop学习——day05_hive基本操作，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一.SQL,Hive和MapReduce的关系
用户在hive上编写sql语句，hive把sql语句转为mapreduce程序去执行
二.Hive的架构映射流程
三.MetaStore元数据管理三种模式
metastore服务配置有3种：
内嵌模式、本地模式、远程模式（推荐）
| 内嵌模式 | 本地模式 | 远程模式 | |
| Metastore单独配置、启动 | 否 | 否 | 是 |
| Metadata存储介质 | Derby | Mysql | Mysql |
内嵌模式：
优点：配置简单，hive命令直接可以使用
缺点：不适用于生产环境，derby和metastore服务都嵌入在主Hive Server进程中一个客户端连接(如果用两个客户端以上就非常浪费资源)，且元数据不能共享
本地模式：
优点：可以单独使用外部的数据库(mysql),元数据共享
缺点：相对浪费资源，metastore嵌入到了hive进程中，每启动一次hive服务，都内置启动了一个metastore。
远程模式：
优点：可以单独使用外部库(mysql),可以共享元数据,本地可以连接metastore服务也可以连接hiveserver2服务,增加了扩展性(其他依赖hive的软件都可以通过Metastore访问hive)
缺点:需要注意的是如果想要启动hiveserver2服务需要先启动metastore服务
四.hive服务操作【重点】
启动hive服务
# nohup hive --service metastore &
# nohup hive --service hiveserver2 &
# jps
# lsof -i:10000
关闭hive服务
# jps
# kill -9 进程号
# jps
五.数据仓库和数据库
1.数据仓库和数据库的区别
实际是讲是OLTP和OLAP的区别
数据仓库基础三层架构
源数据层(ODS) :存储数据源未经过清洗、转换、加载的数据
数据仓库层(DW):对源数据进行清洗后的数据
数据应用层(APP):前端应用直接读取数据源
2. ETL和ELT
数据仓库从各数据源获取数据以及对数据进行清洗、转换、加载的过程都可以叫做ETL（抽取Extract, 转化Transform , 装载Load）
六.hive数据库的操作
1. 基本操作
知识点：
创建数据库:create database [if not exists] 库名 [location '路径'];
使用数据库:use 库名；
注意:location路径默认是：hdfs://node1:8020/user/hive/warehouse/库名。db
删除数据库: drop database 数据库名 [cascade];
-- hive库的核心操作
-- 创建数据库
-- 注意:默认location路径是/user/hive/warehouse/库名.db
-- 库路径: /user/hive/warehouse/hive1.db
create database hive1;
-- 库路径: /user/hive/warehouse/test.db
create database test;
-- 使用库
use hive1;
-- 注意: 建库的时候可以使用location修改数据库路径
-- 库路径: /test1
create database test1 location '/test1';-- 为了方便演示location效果,可以先去分别创建一个简单的表
-- 表路径:/user/hive/warehouse/hive1.db/stu
create table hive1.stu(id int,name string);
-- 表路径:/test1/stu
create table test1.stu(id int,name string);-- 演示删除空数据库
drop database test;
-- 演示删除非空数据库
drop database test1; --报错，hive比较特殊，drop不可以直接删除有表的库
-- drop+cascade能够删除有表的库
drop database test1 cascade;2. 其他操作[了解]
知识点：
创建数据库:create database [if not exists] 库名 [comment '注释'] [location '路径'] [with dbproperties ('k'='v')];
修改数据库路径：alter database 库名 set location 'hdfs://node1.itcast.cn:8020/路径'
修改数据库属性：alter database 库名 set dbproperties ('k'='v')
查看所有的数据库：show databases；
查看某库建库语句：show create database 库名；
查看指定数据库信息：desc database 库名；
查看指定数据库扩展信息：desc database extended 库名；
查看当前使用的数据库：select current_database();
七.Hive表概述
1. 建表语法
create [external] table [if not exists] 表名(字段名 字段类型，字段名 字段类型，...)
partitioned by (分区字段名 分区字段类型)] # 分区表固定格式
[clustered by (分桶字段名) into 桶个数 buckets] # 分桶表固定格式 注意：可以排序[sorted by (排序字段名 asc|desc)]
[row format delimited fields terminated by '字段分隔符'] # 自定义字段分隔符固定格式
[stored as textfile] # 默认即可
[location 'hdfs://node1:8020/user/hive/warehouse/库名.db/表名'] # 默认即可
; # 注意: 最后一定加分号结尾
2. 数据类型
基本数据类型：
整数 int
小数 float double
字符串 string varchar(长度)
日期 date timestamp
3. 表分类
Hive中可以创建的表有好几种类型，分别是：
内部表(管理表)：MANAGED_TABLE
外部表(非管理表)：EXTERNAL_TABLE
内部表和外部表区别？
内部表：未被external关键字修饰的即是内部表，即普通表。
内部表又称管理表，还可以叫托管表
删除内部表：直接删除元数据(metadata)和存储数据本身
外部表：被external关键字修饰的即是外部表，及关联表。还可以叫非管理或非拖管表
删除外部表：仅仅是删除元数据(metadata),不会删除存储数据本身
这篇关于Python大数据之Hadoop学习——day05_hive基本操作的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
