Python大数据之Hadoop学习——day05

本文主要是介绍Python大数据之Hadoop学习——day05_hive基本操作，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一.SQL,Hive和MapReduce的关系

用户在hive上编写sql语句，hive把sql语句转为mapreduce程序去执行

二.Hive的架构映射流程

三.MetaStore元数据管理三种模式

metastore服务配置有3种：

内嵌模式、本地模式、远程模式（推荐）

	内嵌模式	本地模式	远程模式
Metastore单独配置、启动	否	否	是
Metadata存储介质	Derby	Mysql	Mysql

内嵌模式：

优点：配置简单，hive命令直接可以使用

缺点：不适用于生产环境，derby和metastore服务都嵌入在主Hive Server进程中一个客户端连接(如果用两个客户端以上就非常浪费资源)，且元数据不能共享

本地模式：

优点：可以单独使用外部的数据库(mysql),元数据共享

缺点：相对浪费资源，metastore嵌入到了hive进程中，每启动一次hive服务，都内置启动了一个metastore。

远程模式：

优点：可以单独使用外部库(mysql),可以共享元数据,本地可以连接metastore服务也可以连接hiveserver2服务,增加了扩展性(其他依赖hive的软件都可以通过Metastore访问hive)

缺点:需要注意的是如果想要启动hiveserver2服务需要先启动metastore服务

四.hive服务操作【重点】

启动hive服务

# nohup hive --service metastore &

# nohup hive --service hiveserver2 &

# jps

# lsof -i:10000

关闭hive服务

# jps

# kill -9 进程号

# jps

五.数据仓库和数据库

1.数据仓库和数据库的区别

实际是讲是OLTP和OLAP的区别

数据仓库基础三层架构

源数据层(ODS) :存储数据源未经过清洗、转换、加载的数据

数据仓库层(DW):对源数据进行清洗后的数据

数据应用层(APP):前端应用直接读取数据源

2. ETL和ELT

数据仓库从各数据源获取数据以及对数据进行清洗、转换、加载的过程都可以叫做ETL（抽取Extract, 转化Transform , 装载Load）

六.hive数据库的操作

1. 基本操作

知识点：

创建数据库:create database [if not exists] 库名 [location '路径'];

使用数据库:use 库名；

注意:location路径默认是：hdfs://node1:8020/user/hive/warehouse/库名。db

删除数据库: drop database 数据库名 [cascade];

-- hive库的核心操作
-- 创建数据库
-- 注意:默认location路径是/user/hive/warehouse/库名.db
-- 库路径: /user/hive/warehouse/hive1.db
create database hive1;
-- 库路径: /user/hive/warehouse/test.db
create database test;
-- 使用库
use hive1;
-- 注意: 建库的时候可以使用location修改数据库路径
-- 库路径: /test1
create database test1 location '/test1';-- 为了方便演示location效果,可以先去分别创建一个简单的表
-- 表路径:/user/hive/warehouse/hive1.db/stu
create table hive1.stu(id int,name string);
-- 表路径:/test1/stu
create table test1.stu(id int,name string);-- 演示删除空数据库
drop database test;
-- 演示删除非空数据库
drop database test1;  --报错，hive比较特殊，drop不可以直接删除有表的库
-- drop+cascade能够删除有表的库
drop database test1 cascade;

2. 其他操作[了解]

知识点：

创建数据库:create database [if not exists] 库名 [comment '注释'] [location '路径'] [with dbproperties ('k'='v')];

修改数据库路径：alter database 库名 set location 'hdfs://node1.itcast.cn:8020/路径'

修改数据库属性：alter database 库名 set dbproperties ('k'='v')

查看所有的数据库：show databases；

查看某库建库语句：show create database 库名；

查看指定数据库信息：desc database 库名；

查看指定数据库扩展信息：desc database extended 库名；

查看当前使用的数据库：select current_database();

七.Hive表概述

1. 建表语法

create [external] table [if not exists] 表名(字段名字段类型，字段名字段类型，...)

partitioned by (分区字段名分区字段类型)] # 分区表固定格式

[clustered by (分桶字段名) into 桶个数 buckets] # 分桶表固定格式注意：可以排序[sorted by (排序字段名 asc|desc)]

[row format delimited fields terminated by '字段分隔符'] # 自定义字段分隔符固定格式

[stored as textfile] # 默认即可

[location 'hdfs://node1:8020/user/hive/warehouse/库名.db/表名'] # 默认即可

; # 注意: 最后一定加分号结尾

2. 数据类型

基本数据类型：

整数 int

小数 float double

字符串 string varchar(长度)

日期 date timestamp

3. 表分类

Hive中可以创建的表有好几种类型，分别是：

内部表(管理表)：MANAGED_TABLE

外部表(非管理表)：EXTERNAL_TABLE

内部表和外部表区别？

内部表：未被external关键字修饰的即是内部表，即普通表。

内部表又称管理表，还可以叫托管表

删除内部表：直接删除元数据(metadata)和存储数据本身

外部表：被external关键字修饰的即是外部表，及关联表。还可以叫非管理或非拖管表

删除外部表：仅仅是删除元数据(metadata),不会删除存储数据本身