本文主要是介绍Hadoop详解(七)——Hive的原理和安装配置和UDF，flume的安装和配置以及简单使用，flume+hive+Hadoop进行日志处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
hive简介
什么是hive？
① hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转换加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive定义了简单的类似于SQL的查询语言称为QL，它允许熟悉SQL的用户查询数据。同时这种语言也允许熟悉MapReduce的开发者进行开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的负载的分析工作。
② Hive是SQL的解析引擎，它将SQL语句转成M/R job 然后在Hadoop执行。
③ Hive的表其实就是HDFS目录/文件，按照表名将将文件夹分开。如果是分区表，则分区值是子文件夹，可以直接在M/R job里使用这些数据。
数据仓库和数据库的区别：数据仓库主要用来保存数据，对保存的数据进行分析计算。一次写入，多次读取。不能删除单条数据，除非将整个文件删除。修改数据时只有将整个文件下载下来，修改之后重写上传。
Hive的主要功能可以将一条语句转换为MapReduce，Hive依赖于HDFS和Yarn
注意：HBASE数据库适用于结构简单，表与表之间没有密切联系的业务需求。关系型数据库适用于业务复杂表与表之间联系密切的业务。Hive是数据仓库，是用来进行数据挖掘的。
Hive的主要功能可以将一条语句转换为MapReduce，Hive依赖于HDFS和Yarn
注意：HBASE数据库适用于结构简单，表与表之间没有密切联系的业务需求。关系型数据库适用于业务复杂表与表之间联系密切的业务。Hive是数据仓库，是用来进行数据挖掘的。
Hive的系统架构？
用户接口，包括 CLI，JDBC/ODBC，WebUI
元数据存储，通常是存储在关系数据库如 mysql, derby 中
解释器、编译器、优化器、执行器
Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算
MetaStore：元数据库，保存着表、分区等的描述信息，通常在开发时使用MySQL作为它的元数据库。
如果不指定元数据库，hive默认会使用自带的derby数据库来保存元数据信息，使用默认的derby数据库有很大的局限性，它只支持单连接。所谓的单连接是指在哪个目录下启动hive命令就会在哪个目录下创建Metastore数据库(metastore_db)并使用，不允许在同一目录下同时启动多个hive命令，如果要支持多连接，除非切换不同的目录来执行hive命令，又会重新创建一个新的metastore_db来保存元数据，不能共享多个连接之间的元数据。因此要使用MySQL来作为它的元数据库。
使用CLI命令行的方式最多(可以编写自动化脚本进行执行)，JDBC/ODBC的问题非常多 比如连接池，高并发等方面都有问题。
Compiler
•Driver调用编译器（compiler）处理HiveQL字串，这些字串可能是一条DDL、DML或查询语句
•编译器将字符串转化为策略（plan）
•策略仅由元数据操作和HDFS操作组成，元数据操作只包含DDL语句，HDFS操作只包含LOAD语句
•对插入和查询而言，策略由map-reduce任务中的具有方向的非循环图（directedacyclic graph，DAG）组成
元数据存储，通常是存储在关系数据库如 mysql, derby 中
解释器、编译器、优化器、执行器
Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算
MetaStore：元数据库，保存着表、分区等的描述信息，通常在开发时使用MySQL作为它的元数据库。
如果不指定元数据库，hive默认会使用自带的derby数据库来保存元数据信息，使用默认的derby数据库有很大的局限性，它只支持单连接。所谓的单连接是指在哪个目录下启动hive命令就会在哪个目录下创建Metastore数据库(metastore_db)并使用，不允许在同一目录下同时启动多个hive命令，如果要支持多连接，除非切换不同的目录来执行hive命令，又会重新创建一个新的metastore_db来保存元数据，不能共享多个连接之间的元数据。因此要使用MySQL来作为它的元数据库。
使用CLI命令行的方式最多(可以编写自动化脚本进行执行)，JDBC/ODBC的问题非常多 比如连接池，高并发等方面都有问题。
Compiler
•Driver调用编译器（compiler）处理HiveQL字串，这些字串可能是一条DDL、DML或查询语句
•编译器将字符串转化为策略（plan）
•策略仅由元数据操作和HDFS操作组成，元数据操作只包含DDL语句，HDFS操作只包含LOAD语句
•对插入和查询而言，策略由map-reduce任务中的具有方向的非循环图（directedacyclic graph，DAG）组成
Hive与传统数据库比较
Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符 （”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）。由于在加载数据的过程中，不需要从用用户数据格式到 Hive 定义的数据格式的转换，因此，Hive 在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。
Hive的数据类型
tinyint/smallint/int/bigint
float/double
boolean
string
(2) 复杂数据类型
Array/Map/Struct
没有date/datetime
Hive的数据存储
Hive的数据存储基于Hadoop HDFS
Hive没有专门的数据存储格式
存储结构主要包括：数据库、文件、表、视图
Hive默认可以直接加载文本文件（TextFile），还支持sequence file 、RC file
创建表时，指定Hive数据的列分隔符与行分隔符，Hive即可解析数据
Hive没有专门的数据存储格式
存储结构主要包括：数据库、文件、表、视图
Hive默认可以直接加载文本文件（TextFile），还支持sequence file 、RC file
创建表时，指定Hive数据的列分隔符与行分隔符，Hive即可解析数据
Hive的数据模型
Hive的数据模型-数据库
类似传统数据库的DataBase
默认数据库"default"
使用#hive命令后，不使用hive>use <数据库名>，系统默认的数据库。可以显式使用hive> use default;
创建一个新库
hive > create database test_dw;
② Partition 分区表
③ External Table 外部表
④ Bucket Table 桶表
② 每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如，一个表 test，它在 HDFS 中的路径为：/ warehouse/test。 warehouse是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录
③ 所有的 Table 数据（不包括 External Table）都保存在这个目录中。
④ 删除表时，元数据与数据都会被删除
⑤ 创建数据文件inner_table.dat
⑥ 创建表
hive>create table inner_table (key string);
⑦ 加载数据
hive>load data local inpath '/root/inner_table.dat' into table inner_table;
⑧ 查看数据
select * from inner_table
select count(*) from inner_table
⑨ 删除表 drop table inner_table （删除表时可能报错max key length is 1000 bytes
把mysql的MetaStore数据库字符类型改为latin1）
② 在 Hive 中，表中的一个 Partition 对应于表下的一个目录，所有的 Partition 的数据都存储在对应的目录中
例如：test表中包含 date 和 city 两个 Partition，
则对应于date=20130201, city = bj 的 HDFS 子目录为：
/warehouse/test/date=20130201/city=bj
对应于date=20130202, city=sh 的HDFS 子目录为；
/warehouse/test/date=20130202/city=sh
CREATE TABLE tmp_table #表名
(
title string, # 字段名称 字段类型
minimum_bid double,
quantity bigint,
have_invoice bigint
)COMMENT '注释：XXX' #表注释
PARTITIONED BY(pt STRING) #分区表字段（如果文件非常之大的话，采用分区表可以快过滤出按分区字段划分的数据）
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' # 字段是用什么分割开的
STORED AS SEQUENCEFILE; #用哪种方式存储数据，SEQUENCEFILE是hadoop自带的文件压缩格式
一些相关命令
SHOW TABLES; # 查看所有的表
SHOW TABLES '*TMP*'; #支持模糊查询
SHOW PARTITIONS TMP_TABLE; #查看表有哪些分区
DESCRIBE TMP_TABLE; #查看表结构
③ 创建数据文件partition_table.dat
④ 创建表
create table partition_table(rectime string,msisdn string) partitioned by(daytime string,city string) row format delimited fields terminated by '\t' stored as TEXTFILE;
⑤ 加载数据到分区
load data local inpath '/home/partition_table.dat' into table partition_table partition (daytime='2013-02-01',city='bj');
⑥ 查看数据
select * from partition_table
select count(*) from partition_table
⑦ 删除表 drop table partition_table
⑧ alter table partition_table add partition (daytime='2013-02-04',city='bj');
通过load data 加载数据
⑨ alter table partition_table drop partition (daytime='2013-02-04',city='bj')
元数据，数据文件删除，但目录daytime=2013-02-04还在
② 它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异
③ 内部表的创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除
④ 外部表 只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个 外部表 时，仅删除该链接
⑤创建示例
CREATE EXTERNAL TABLE page_view
( viewTime INT,
userid BIGINT,
page_url STRING,
referrer_url STRING,
ip STRING COMMENT 'IP Address of the User',
country STRING COMMENT 'country of origination‘
)
COMMENT 'This is the staging page view table'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '44' LINES TERMINATED BY '12'
STORED AS TEXTFILE
LOCATION 'hdfs://centos:9000/user/data/staging/page_view';
⑥ 创建数据文件external_table.dat
⑦ 创建表
hive>create external table external_table1 (key string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/home/external';
在HDFS创建目录/home/external
#hadoop fs -put /home/external_table.dat /home/external
⑧ 加载数据
LOAD DATA INPATH '/home/external_table1.dat' INTO TABLE external_table1;
⑨ 查看数据
select * from external_table
select count(*) from external_table
⑩ 删除表
drop table external_table
CREATE VIEW v1 AS select * from t1;
alter table target_tab add columns (cols,string)
② 表的删除
drop table
默认数据库"default"
使用#hive命令后，不使用hive>use <数据库名>，系统默认的数据库。可以显式使用hive> use default;
创建一个新库
hive > create database test_dw;
Hive的数据模型-表
① Table 内部表② Partition 分区表
③ External Table 外部表
④ Bucket Table 桶表
Hive的数据模型-内部表
① 与数据库中的 Table 在概念上是类似② 每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如，一个表 test，它在 HDFS 中的路径为：/ warehouse/test。 warehouse是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录
③ 所有的 Table 数据（不包括 External Table）都保存在这个目录中。
④ 删除表时，元数据与数据都会被删除
⑤ 创建数据文件inner_table.dat
⑥ 创建表
hive>create table inner_table (key string);
⑦ 加载数据
hive>load data local inpath '/root/inner_table.dat' into table inner_table;
⑧ 查看数据
select * from inner_table
select count(*) from inner_table
⑨ 删除表 drop table inner_table （删除表时可能报错max key length is 1000 bytes
把mysql的MetaStore数据库字符类型改为latin1）
Hive的数据模型-分区表
① Partition 对应于数据库的 Partition 列的密集索引② 在 Hive 中，表中的一个 Partition 对应于表下的一个目录，所有的 Partition 的数据都存储在对应的目录中
例如：test表中包含 date 和 city 两个 Partition，
则对应于date=20130201, city = bj 的 HDFS 子目录为：
/warehouse/test/date=20130201/city=bj
对应于date=20130202, city=sh 的HDFS 子目录为；
/warehouse/test/date=20130202/city=sh
CREATE TABLE tmp_table #表名
(
title string, # 字段名称 字段类型
minimum_bid double,
quantity bigint,
have_invoice bigint
)COMMENT '注释：XXX' #表注释
PARTITIONED BY(pt STRING) #分区表字段（如果文件非常之大的话，采用分区表可以快过滤出按分区字段划分的数据）
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' # 字段是用什么分割开的
STORED AS SEQUENCEFILE; #用哪种方式存储数据，SEQUENCEFILE是hadoop自带的文件压缩格式
一些相关命令
SHOW TABLES; # 查看所有的表
SHOW TABLES '*TMP*'; #支持模糊查询
SHOW PARTITIONS TMP_TABLE; #查看表有哪些分区
DESCRIBE TMP_TABLE; #查看表结构
③ 创建数据文件partition_table.dat
④ 创建表
create table partition_table(rectime string,msisdn string) partitioned by(daytime string,city string) row format delimited fields terminated by '\t' stored as TEXTFILE;
⑤ 加载数据到分区
load data local inpath '/home/partition_table.dat' into table partition_table partition (daytime='2013-02-01',city='bj');
⑥ 查看数据
select * from partition_table
select count(*) from partition_table
⑦ 删除表 drop table partition_table
⑧ alter table partition_table add partition (daytime='2013-02-04',city='bj');
通过load data 加载数据
⑨ alter table partition_table drop partition (daytime='2013-02-04',city='bj')
元数据，数据文件删除，但目录daytime=2013-02-04还在
Hive的数据模型-外部表
① 指向已经在 HDFS中已经存在的数据，可以创建 Partition② 它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异
③ 内部表的创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到数据仓库目录中；之后对数据对访问将会直接在数据仓库目录中完成。删除表时，表中的数据和元数据将会被同时删除
④ 外部表 只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个 外部表 时，仅删除该链接
⑤创建示例
CREATE EXTERNAL TABLE page_view
( viewTime INT,
userid BIGINT,
page_url STRING,
referrer_url STRING,
ip STRING COMMENT 'IP Address of the User',
country STRING COMMENT 'country of origination‘
)
COMMENT 'This is the staging page view table'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '44' LINES TERMINATED BY '12'
STORED AS TEXTFILE
LOCATION 'hdfs://centos:9000/user/data/staging/page_view';
⑥ 创建数据文件external_table.dat
⑦ 创建表
hive>create external table external_table1 (key string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/home/external';
在HDFS创建目录/home/external
#hadoop fs -put /home/external_table.dat /home/external
⑧ 加载数据
LOAD DATA INPATH '/home/external_table1.dat' INTO TABLE external_table1;
⑨ 查看数据
select * from external_table
select count(*) from external_table
⑩ 删除表
drop table external_table
hive操作
视图操作
① 视图的创建CREATE VIEW v1 AS select * from t1;
表的操作
① 表的修改alter table target_tab add columns (cols,string)
② 表的删除
drop table
导入数据
① 当数据被加载至表中时，不会对这篇关于Hadoop详解(七)——Hive的原理和安装配置和UDF，flume的安装和配置以及简单使用，flume+hive+Hadoop进行日志处理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
