Hive之配置和使用LZO压缩

2024-04-15 14:48
文章标签 配置 使用 压缩 hive lzo

本文主要是介绍Hive之配置和使用LZO压缩，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

  • OS：CentOS 7

  • Hive：2.3.0

  • Hadoop：2.7.7

  • MySQL Server：5.7.10

  • Hive官方手册：LanguageManual LZO

  • 在配置Hive使用lzo压缩功能之前，需要保证Hadoop集群中lzo依赖库的正确安装，以及hadoop-lzo依赖的正确配置，可以参考：Hadoop配置lzo压缩

  • 温馨提示：Hive自定义组件打包时，不要同时打包依赖，避免各种版本冲突，只将额外的依赖添加到classpath中即可

配置过程

一、配置Hadoop集群

  • 在core-site.xml文件的io.compression.codecs参数中添加lzo、lzop压缩对应的编解码器类，并配置io.compression.codec.lzo.class参数，具体如下所示：
    <!-- 声明可用的压缩算法的编/解码器 --><property><name>io.compression.codecs</name><value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value><description>A comma-separated list of the compression codec classes that canbe used for compression/decompression. In addition to any classes specifiedwith this property (which take precedence), codec classes on the classpathare discovered using a Java ServiceLoader.</description></property><!-- 配置lzo编解码器相关参数 --><property><name>io.compression.codec.lzo.class</name><value>com.hadoop.compression.lzo.LzoCodec</value></property>
  • 在mapred-site.xml文件中配置如下参数，设置MR Job执行时使用的压缩方式：
    <!-- map输出是否压缩 --><!-- 默认值:false --><property><name>mapreduce.map.output.compress</name><value>true</value><description>Should the outputs of the maps be compressed before beingsent across the network. Uses SequenceFile compression.</description></property><!-- 设置map输出压缩所使用的对应压缩算法的编解码器,此处设置为LzoCodec,生成的文件后缀为.lzo_deflate --><!-- 默认值:org.apache.hadoop.io.compress.DefaultCodec --><property><name>mapreduce.map.output.compress.codec</name><value>com.hadoop.compression.lzo.LzoCodec</value><description>If the map outputs are compressed, how should they be compressed?</description></property><!-- 设置MR job最终输出文件是否压缩 --><!-- 默认值:false --><property><name>mapreduce.output.fileoutputformat.compress</name><value>true</value><description>Should the job outputs be compressed?</description></property><!-- 设置MR job最终输出文件所使用的压缩算法对应的编解码器,此处设置为LzoCodec,生成的文件后缀为.lzo_deflate --><!-- 默认值:org.apache.hadoop.io.compress.DefaultCodec --><property><name>mapreduce.output.fileoutputformat.compress.codec</name><value>com.hadoop.compression.lzo.LzoCodec</value><description>If the job outputs are compressed, how should they be compressed?</description></property><!-- 设置序列文件的压缩格式 --><!-- 默认值:RECORD --><property><name>mapreduce.output.fileoutputformat.compress.type</name><value>BLOCK</value><description>If the job outputs are to compressed as SequenceFiles, how shouldthey be compressed? Should be one of NONE, RECORD or BLOCK.</description></property>

二、配置Hive

在$HIVE_HOME/conf/hive-site.xml文件中设置如下参数，使得Hive进行查询时使用压缩功能，具体使用的压缩算法默认与Hadoop中的配置相同，当然也有相应的参数可以进行覆盖：

    <!-- 设置hive语句执行输出文件是否开启压缩,具体的压缩算法和压缩格式取决于hadoop中设置的相关参数 --><!-- 默认值:false --><property><name>hive.exec.compress.output</name><value>true</value><description>This controls whether the final outputs of a query (to a local/HDFS file or a Hive table) is compressed. The compression codec and other options are determined from Hadoop config variables mapred.output.compress*</description></property><!-- 控制多个MR Job的中间结果文件是否启用压缩,具体的压缩算法和压缩格式取决于hadoop中设置的相关参数 --><!-- 默认值:false --><property><name>hive.exec.compress.intermediate</name><value>true</value><description>This controls whether intermediate files produced by Hive between multiple map-reduce jobs are compressed. The compression codec and other options are determined from Hadoop config variables mapred.output.compress*</description></property>

三、建立支持lzo压缩数据读取和写入的Hive表

  • 示例：
CREATE TABLE tmp like emp
STORED AS
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";
  • 注意1：当前版本（2.3.0）的Hive只支持使用旧版本MR框架（com.hadoop.mapred）的API，使用的InputFormat必须实现org.apache.hadoop.mapred.InputFormat接口
  • 注意2：当前版本（2.3.0）的Hive中要想使用lzo压缩，需要将表数据读取时使用的InputFormat设置为com.hadoop.mapred.DeprecatedLzoTextInputFormat，此工具类在hadoop-lzo的jar包中（如：hadoop-lzo-0.4.20.jar）。只有使用LzoTextInputFormat才能避免将lzo索引文件识别成数据文件，又因为Hive支持支旧版本API，因此必须使用示例中的DeprecatedLzoTextInputFormat才能使用lzo的分片功能。
  • 注意3：使用DeprecatedLzoTextInputFormat只能识别后缀为.lzo的lzo压缩文件，无法识别后缀为.lzo_deflate的lzo压缩文件。前者是使用编解码器LzopCodec生成的，后者是使用LzoCodec生成的，.lzo压缩文件能够创建索引，而.lzo_deflate压缩文件无法创建索引，只有建立了lzo索引才能使用lzo分片功能。

PS：可以通过以下命令，来修改表的InputFormat/Outputformat/SerDe

-- 可以通过以下命令,修改表数据的读取/写入/序列化和反序列化方式
ALTER TABLE tmp
SET FILEFORMAT
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat" -- Hive默认Outputformat
SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'; -- Hive默认SERDE

四、导入lzo压缩文件，并对.lzo压缩文件建立lzo索引

  • 导入表数据文件（.lzo压缩文件）
LOAD DATA INPATH '/tmp/data/output/emp/000000_0.lzo' OVERWRITE INTO TABLE tmp;
  • 为.lzo压缩文件建立lzo索引，便于读取时能够进行切割分片，否则只能将整个文件作为单个分片。示例命令如下，使用的是hadoop-lzo依赖中的工具类来为lzo压缩文件创建索引，索引文件与压缩文件在同一路径下，后缀名为.lzo.index
hadoop jar \
/opt/module/hadoop-2.7.7/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar \
com.hadoop.compression.lzo.DistributedLzoIndexer \
/user/hive/warehouse/test.db/tmp/000000_0.lzo
  • 查看索引是否建立成功
[tomandersen@hadoop101 libs]$ hadoop fs -ls /user/hive/warehouse/test.db/tmp/;
Found 2 items
-rwxr-xr-x   1 tomandersen supergroup        515 2020-06-19 17:43 /user/hive/warehouse/test.db/tmp/000000_0.lzo
-rw-r--r--   1 tomandersen supergroup          8 2020-06-21 21:53 /user/hive/warehouse/test.db/tmp/000000_0.lzo.index

五、查询表数据，验证能够正常读取

  • 设置InputFormat为DeprecatedLzoTextInputFormat，不再将lzo索引文件视为数据文件，读取结果正常
0: jdbc:hive2://hadoop101:10000/default (test)> select * from test.tmp;
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| tmp.empno  | tmp.ename  | tmp.sex  |  tmp.job   | tmp.mgr  | tmp.hiredate  | tmp.sal  | tmp.comm  | tmp.deptno  |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| 7369       | SMITH      | male     | CLERK      | 7902     | 1980-12-17    | 800.0    | NULL      | 20          |
| 7499       | ALLEN      | male     | SALESMAN   | 7698     | 1981-2-20     | 1600.0   | 300.0     | 30          |
| 7521       | WARD       | female   | SALESMAN   | 7698     | 1981-2-22     | 1250.0   | 500.0     | 30          |
| 7566       | JONES      | male     | MANAGER    | 7839     | 1981-4-2      | 2975.0   | NULL      | 20          |
| 7654       | MARTIN     | female   | SALESMAN   | 7698     | 1981-9-28     | 1250.0   | 1400.0    | 30          |
| 7698       | BLAKE      | male     | MANAGER    | 7839     | 1981-5-1      | 2850.0   | NULL      | 30          |
| 7782       | CLARK      | male     | MANAGER    | 7839     | 1981-6-9      | 2450.0   | NULL      | 10          |
| 7788       | SCOTT      | male     | ANALYST    | 7566     | 1987-4-19     | 3000.0   | NULL      | 20          |
| 7839       | KING       | female   | PRESIDENT  | NULL     | 1981-11-17    | 5000.0   | NULL      | 10          |
| 7844       | TURNER     | female   | SALESMAN   | 7698     | 1981-9-8      | 1500.0   | 0.0       | 30          |
| 7876       | ADAMS      | male     | CLERK      | 7788     | 1987-5-23     | 1100.0   | NULL      | 20          |
| 7900       | JAMES      | male     | CLERK      | 7698     | 1981-12-3     | 950.0    | NULL      | 30          |
| 7902       | FORD       | male     | ANALYST    | 7566     | 1981-12-3     | 3000.0   | NULL      | 20          |
| 7934       | MILLER     | female   | CLERK      | 7782     | 1982-1-23     | 1300.0   | NULL      | 10          |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
14 rows selected (0.244 seconds)
  • 未设置InputFormat为DeprecatedLzoTextInputFormat，会将lzo索引文件视为数据文件进行读取，查询结果会多出一行NULL值
0: jdbc:hive2://hadoop101:10000/default (test)> select * from test.tmp;
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| tmp.empno  | tmp.ename  | tmp.sex  |  tmp.job   | tmp.mgr  | tmp.hiredate  | tmp.sal  | tmp.comm  | tmp.deptno  |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| 7369       | SMITH      | male     | CLERK      | 7902     | 1980-12-17    | 800.0    | NULL      | 20          |
| 7499       | ALLEN      | male     | SALESMAN   | 7698     | 1981-2-20     | 1600.0   | 300.0     | 30          |
| 7521       | WARD       | female   | SALESMAN   | 7698     | 1981-2-22     | 1250.0   | 500.0     | 30          |
| 7566       | JONES      | male     | MANAGER    | 7839     | 1981-4-2      | 2975.0   | NULL      | 20          |
| 7654       | MARTIN     | female   | SALESMAN   | 7698     | 1981-9-28     | 1250.0   | 1400.0    | 30          |
| 7698       | BLAKE      | male     | MANAGER    | 7839     | 1981-5-1      | 2850.0   | NULL      | 30          |
| 7782       | CLARK      | male     | MANAGER    | 7839     | 1981-6-9      | 2450.0   | NULL      | 10          |
| 7788       | SCOTT      | male     | ANALYST    | 7566     | 1987-4-19     | 3000.0   | NULL      | 20          |
| 7839       | KING       | female   | PRESIDENT  | NULL     | 1981-11-17    | 5000.0   | NULL      | 10          |
| 7844       | TURNER     | female   | SALESMAN   | 7698     | 1981-9-8      | 1500.0   | 0.0       | 30          |
| 7876       | ADAMS      | male     | CLERK      | 7788     | 1987-5-23     | 1100.0   | NULL      | 20          |
| 7900       | JAMES      | male     | CLERK      | 7698     | 1981-12-3     | 950.0    | NULL      | 30          |
| 7902       | FORD       | male     | ANALYST    | 7566     | 1981-12-3     | 3000.0   | NULL      | 20          |
| 7934       | MILLER     | female   | CLERK      | 7782     | 1982-1-23     | 1300.0   | NULL      | 10          |
| NULL       | NULL       | NULL     | NULL       | NULL     | NULL          | NULL     | NULL      | NULL        |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
15 rows selected (0.229 seconds)

报错及解决方案

  • 报错一：Compression codec com.hadoop.compression.lzo.LzoCodec not found

解析：很显然这是一个差找不到指定类的Bug，而LzoCodec是hadoop-lzo依赖中的工具类，因此将对应的jar包添加到classpath中即可，解决方案多种多样

解决方案示例：在hive-env.sh配置文件中设置HIVE_AUX_JARS_PATH环境变量，将hadoop-lzo依赖jar包放入此变量所指路径（或者将此变量设置成hadoop-lzo.jar所在路径）。

  • 报错二：Error: java.io.IOException: java.io.EOFException: Premature EOF from inputStream

解析：通过查找网上的资料发现，导致这样的报错可能有多种原因，最常见的就是由于在hadoop中lzo的相关配置，与Hive中的表相关设置相冲突（具体原因未知）

解决方案示例：将mapred-site.xml文件中的mapreduce.output.fileoutputformat.compress.codec参数设置成除了com.hadoop.compression.lzo.LzopCodec意以外的其他值，如com.hadoop.compression.lzo.LzoCodec，即更换最终MR输出文件所使用的压缩算法编解码器为非LzopCodec的其他值

End~

这篇关于Hive之配置和使用LZO压缩的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/906113。

相关文章

Linux中的计划任务(crontab)使用方式

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》：本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务（crontab）二、crontab基础1、cro
阅读更多...
kotlin中const 和val的区别及使用场景分析

kotlin中const 和val的区别及使用场景分析

《kotlin中const和val的区别及使用场景分析》在Kotlin中,const和val都是用来声明常量的,但它们的使用场景和功能有所不同,下面给大家介绍kotlin中const和val的区别,... 目录kotlin中const 和val的区别1. val:2. const:二 代码示例1 Java
阅读更多...
C++变换迭代器使用方法小结

C++变换迭代器使用方法小结

《C++变换迭代器使用方法小结》本文主要介绍了C++变换迭代器使用方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1、源码2、代码解析代码解析：transform_iterator1. transform_iterat
阅读更多...
C++中std::distance使用方法示例

C++中std::distance使用方法示例

《C++中std::distance使用方法示例》std::distance是C++标准库中的一个函数,用于计算两个迭代器之间的距离,本文主要介绍了C++中std::distance使用方法示例,具... 目录语法使用方式解释示例输出：其他说明：总结std::distance&n编程bsp;是 C++ 标准
阅读更多...
vue使用docxtemplater导出word

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方
阅读更多...
SpringBoot3实现Gzip压缩优化的技术指南

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N
阅读更多...
Linux换行符的使用方法详解

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将
阅读更多...
使用Jackson进行JSON生成与解析的新手指南

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON（序列化）2.2 JSON 转对象（反序列化）3.
阅读更多...
使用Python实现快速搭建本地HTTP服务器

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》：本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.
阅读更多...
Elasticsearch 在 Java 中的使用教程

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2