Hive之配置和使用LZO压缩

2024-04-15 14:48
文章标签 配置 使用 压缩 hive lzo

本文主要是介绍Hive之配置和使用LZO压缩，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

  • OS：CentOS 7

  • Hive：2.3.0

  • Hadoop：2.7.7

  • MySQL Server：5.7.10

  • Hive官方手册：LanguageManual LZO

  • 在配置Hive使用lzo压缩功能之前，需要保证Hadoop集群中lzo依赖库的正确安装，以及hadoop-lzo依赖的正确配置，可以参考：Hadoop配置lzo压缩

  • 温馨提示：Hive自定义组件打包时，不要同时打包依赖，避免各种版本冲突，只将额外的依赖添加到classpath中即可

配置过程

一、配置Hadoop集群

  • 在core-site.xml文件的io.compression.codecs参数中添加lzo、lzop压缩对应的编解码器类，并配置io.compression.codec.lzo.class参数，具体如下所示：
    <!-- 声明可用的压缩算法的编/解码器 --><property><name>io.compression.codecs</name><value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value><description>A comma-separated list of the compression codec classes that canbe used for compression/decompression. In addition to any classes specifiedwith this property (which take precedence), codec classes on the classpathare discovered using a Java ServiceLoader.</description></property><!-- 配置lzo编解码器相关参数 --><property><name>io.compression.codec.lzo.class</name><value>com.hadoop.compression.lzo.LzoCodec</value></property>
  • 在mapred-site.xml文件中配置如下参数，设置MR Job执行时使用的压缩方式：
    <!-- map输出是否压缩 --><!-- 默认值:false --><property><name>mapreduce.map.output.compress</name><value>true</value><description>Should the outputs of the maps be compressed before beingsent across the network. Uses SequenceFile compression.</description></property><!-- 设置map输出压缩所使用的对应压缩算法的编解码器,此处设置为LzoCodec,生成的文件后缀为.lzo_deflate --><!-- 默认值:org.apache.hadoop.io.compress.DefaultCodec --><property><name>mapreduce.map.output.compress.codec</name><value>com.hadoop.compression.lzo.LzoCodec</value><description>If the map outputs are compressed, how should they be compressed?</description></property><!-- 设置MR job最终输出文件是否压缩 --><!-- 默认值:false --><property><name>mapreduce.output.fileoutputformat.compress</name><value>true</value><description>Should the job outputs be compressed?</description></property><!-- 设置MR job最终输出文件所使用的压缩算法对应的编解码器,此处设置为LzoCodec,生成的文件后缀为.lzo_deflate --><!-- 默认值:org.apache.hadoop.io.compress.DefaultCodec --><property><name>mapreduce.output.fileoutputformat.compress.codec</name><value>com.hadoop.compression.lzo.LzoCodec</value><description>If the job outputs are compressed, how should they be compressed?</description></property><!-- 设置序列文件的压缩格式 --><!-- 默认值:RECORD --><property><name>mapreduce.output.fileoutputformat.compress.type</name><value>BLOCK</value><description>If the job outputs are to compressed as SequenceFiles, how shouldthey be compressed? Should be one of NONE, RECORD or BLOCK.</description></property>

二、配置Hive

在$HIVE_HOME/conf/hive-site.xml文件中设置如下参数，使得Hive进行查询时使用压缩功能，具体使用的压缩算法默认与Hadoop中的配置相同，当然也有相应的参数可以进行覆盖：

    <!-- 设置hive语句执行输出文件是否开启压缩,具体的压缩算法和压缩格式取决于hadoop中设置的相关参数 --><!-- 默认值:false --><property><name>hive.exec.compress.output</name><value>true</value><description>This controls whether the final outputs of a query (to a local/HDFS file or a Hive table) is compressed. The compression codec and other options are determined from Hadoop config variables mapred.output.compress*</description></property><!-- 控制多个MR Job的中间结果文件是否启用压缩,具体的压缩算法和压缩格式取决于hadoop中设置的相关参数 --><!-- 默认值:false --><property><name>hive.exec.compress.intermediate</name><value>true</value><description>This controls whether intermediate files produced by Hive between multiple map-reduce jobs are compressed. The compression codec and other options are determined from Hadoop config variables mapred.output.compress*</description></property>

三、建立支持lzo压缩数据读取和写入的Hive表

  • 示例：
CREATE TABLE tmp like emp
STORED AS
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";
  • 注意1：当前版本（2.3.0）的Hive只支持使用旧版本MR框架（com.hadoop.mapred）的API，使用的InputFormat必须实现org.apache.hadoop.mapred.InputFormat接口
  • 注意2：当前版本（2.3.0）的Hive中要想使用lzo压缩，需要将表数据读取时使用的InputFormat设置为com.hadoop.mapred.DeprecatedLzoTextInputFormat，此工具类在hadoop-lzo的jar包中（如：hadoop-lzo-0.4.20.jar）。只有使用LzoTextInputFormat才能避免将lzo索引文件识别成数据文件，又因为Hive支持支旧版本API，因此必须使用示例中的DeprecatedLzoTextInputFormat才能使用lzo的分片功能。
  • 注意3：使用DeprecatedLzoTextInputFormat只能识别后缀为.lzo的lzo压缩文件，无法识别后缀为.lzo_deflate的lzo压缩文件。前者是使用编解码器LzopCodec生成的，后者是使用LzoCodec生成的，.lzo压缩文件能够创建索引，而.lzo_deflate压缩文件无法创建索引，只有建立了lzo索引才能使用lzo分片功能。

PS：可以通过以下命令，来修改表的InputFormat/Outputformat/SerDe

-- 可以通过以下命令,修改表数据的读取/写入/序列化和反序列化方式
ALTER TABLE tmp
SET FILEFORMAT
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat" -- Hive默认Outputformat
SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'; -- Hive默认SERDE

四、导入lzo压缩文件，并对.lzo压缩文件建立lzo索引

  • 导入表数据文件（.lzo压缩文件）
LOAD DATA INPATH '/tmp/data/output/emp/000000_0.lzo' OVERWRITE INTO TABLE tmp;
  • 为.lzo压缩文件建立lzo索引，便于读取时能够进行切割分片，否则只能将整个文件作为单个分片。示例命令如下，使用的是hadoop-lzo依赖中的工具类来为lzo压缩文件创建索引，索引文件与压缩文件在同一路径下，后缀名为.lzo.index
hadoop jar \
/opt/module/hadoop-2.7.7/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar \
com.hadoop.compression.lzo.DistributedLzoIndexer \
/user/hive/warehouse/test.db/tmp/000000_0.lzo
  • 查看索引是否建立成功
[tomandersen@hadoop101 libs]$ hadoop fs -ls /user/hive/warehouse/test.db/tmp/;
Found 2 items
-rwxr-xr-x   1 tomandersen supergroup        515 2020-06-19 17:43 /user/hive/warehouse/test.db/tmp/000000_0.lzo
-rw-r--r--   1 tomandersen supergroup          8 2020-06-21 21:53 /user/hive/warehouse/test.db/tmp/000000_0.lzo.index

五、查询表数据，验证能够正常读取

  • 设置InputFormat为DeprecatedLzoTextInputFormat，不再将lzo索引文件视为数据文件，读取结果正常
0: jdbc:hive2://hadoop101:10000/default (test)> select * from test.tmp;
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| tmp.empno  | tmp.ename  | tmp.sex  |  tmp.job   | tmp.mgr  | tmp.hiredate  | tmp.sal  | tmp.comm  | tmp.deptno  |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| 7369       | SMITH      | male     | CLERK      | 7902     | 1980-12-17    | 800.0    | NULL      | 20          |
| 7499       | ALLEN      | male     | SALESMAN   | 7698     | 1981-2-20     | 1600.0   | 300.0     | 30          |
| 7521       | WARD       | female   | SALESMAN   | 7698     | 1981-2-22     | 1250.0   | 500.0     | 30          |
| 7566       | JONES      | male     | MANAGER    | 7839     | 1981-4-2      | 2975.0   | NULL      | 20          |
| 7654       | MARTIN     | female   | SALESMAN   | 7698     | 1981-9-28     | 1250.0   | 1400.0    | 30          |
| 7698       | BLAKE      | male     | MANAGER    | 7839     | 1981-5-1      | 2850.0   | NULL      | 30          |
| 7782       | CLARK      | male     | MANAGER    | 7839     | 1981-6-9      | 2450.0   | NULL      | 10          |
| 7788       | SCOTT      | male     | ANALYST    | 7566     | 1987-4-19     | 3000.0   | NULL      | 20          |
| 7839       | KING       | female   | PRESIDENT  | NULL     | 1981-11-17    | 5000.0   | NULL      | 10          |
| 7844       | TURNER     | female   | SALESMAN   | 7698     | 1981-9-8      | 1500.0   | 0.0       | 30          |
| 7876       | ADAMS      | male     | CLERK      | 7788     | 1987-5-23     | 1100.0   | NULL      | 20          |
| 7900       | JAMES      | male     | CLERK      | 7698     | 1981-12-3     | 950.0    | NULL      | 30          |
| 7902       | FORD       | male     | ANALYST    | 7566     | 1981-12-3     | 3000.0   | NULL      | 20          |
| 7934       | MILLER     | female   | CLERK      | 7782     | 1982-1-23     | 1300.0   | NULL      | 10          |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
14 rows selected (0.244 seconds)
  • 未设置InputFormat为DeprecatedLzoTextInputFormat，会将lzo索引文件视为数据文件进行读取，查询结果会多出一行NULL值
0: jdbc:hive2://hadoop101:10000/default (test)> select * from test.tmp;
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| tmp.empno  | tmp.ename  | tmp.sex  |  tmp.job   | tmp.mgr  | tmp.hiredate  | tmp.sal  | tmp.comm  | tmp.deptno  |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
| 7369       | SMITH      | male     | CLERK      | 7902     | 1980-12-17    | 800.0    | NULL      | 20          |
| 7499       | ALLEN      | male     | SALESMAN   | 7698     | 1981-2-20     | 1600.0   | 300.0     | 30          |
| 7521       | WARD       | female   | SALESMAN   | 7698     | 1981-2-22     | 1250.0   | 500.0     | 30          |
| 7566       | JONES      | male     | MANAGER    | 7839     | 1981-4-2      | 2975.0   | NULL      | 20          |
| 7654       | MARTIN     | female   | SALESMAN   | 7698     | 1981-9-28     | 1250.0   | 1400.0    | 30          |
| 7698       | BLAKE      | male     | MANAGER    | 7839     | 1981-5-1      | 2850.0   | NULL      | 30          |
| 7782       | CLARK      | male     | MANAGER    | 7839     | 1981-6-9      | 2450.0   | NULL      | 10          |
| 7788       | SCOTT      | male     | ANALYST    | 7566     | 1987-4-19     | 3000.0   | NULL      | 20          |
| 7839       | KING       | female   | PRESIDENT  | NULL     | 1981-11-17    | 5000.0   | NULL      | 10          |
| 7844       | TURNER     | female   | SALESMAN   | 7698     | 1981-9-8      | 1500.0   | 0.0       | 30          |
| 7876       | ADAMS      | male     | CLERK      | 7788     | 1987-5-23     | 1100.0   | NULL      | 20          |
| 7900       | JAMES      | male     | CLERK      | 7698     | 1981-12-3     | 950.0    | NULL      | 30          |
| 7902       | FORD       | male     | ANALYST    | 7566     | 1981-12-3     | 3000.0   | NULL      | 20          |
| 7934       | MILLER     | female   | CLERK      | 7782     | 1982-1-23     | 1300.0   | NULL      | 10          |
| NULL       | NULL       | NULL     | NULL       | NULL     | NULL          | NULL     | NULL      | NULL        |
+------------+------------+----------+------------+----------+---------------+----------+-----------+-------------+
15 rows selected (0.229 seconds)

报错及解决方案

  • 报错一：Compression codec com.hadoop.compression.lzo.LzoCodec not found

解析：很显然这是一个差找不到指定类的Bug，而LzoCodec是hadoop-lzo依赖中的工具类，因此将对应的jar包添加到classpath中即可，解决方案多种多样

解决方案示例：在hive-env.sh配置文件中设置HIVE_AUX_JARS_PATH环境变量，将hadoop-lzo依赖jar包放入此变量所指路径（或者将此变量设置成hadoop-lzo.jar所在路径）。

  • 报错二：Error: java.io.IOException: java.io.EOFException: Premature EOF from inputStream

解析：通过查找网上的资料发现，导致这样的报错可能有多种原因，最常见的就是由于在hadoop中lzo的相关配置，与Hive中的表相关设置相冲突（具体原因未知）

解决方案示例：将mapred-site.xml文件中的mapreduce.output.fileoutputformat.compress.codec参数设置成除了com.hadoop.compression.lzo.LzopCodec意以外的其他值，如com.hadoop.compression.lzo.LzoCodec，即更换最终MR输出文件所使用的压缩算法编解码器为非LzopCodec的其他值

End~

这篇关于Hive之配置和使用LZO压缩的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/906113。

相关文章

Conda与Python venv虚拟环境的区别与使用方法详解

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,：本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v
阅读更多...
Spring Boot中WebSocket常用使用方法详解

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP
阅读更多...
C#中Guid类使用小结

C#中Guid类使用小结

《C#中Guid类使用小结》本文主要介绍了C#中Guid类用于生成和操作128位的唯一标识符,用于数据库主键及分布式系统,支持通过NewGuid、Parse等方法生成,感兴趣的可以了解一下... 目录前言一、什么是 Guid二、生成 Guid1. 使用 Guid.NewGuid() 方法2. 从字符串创建
阅读更多...
Python使用python-can实现合并BLF文件

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库：CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合
阅读更多...
Python使用OpenCV实现获取视频时长的小工具

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文
阅读更多...
SQL Server配置管理器无法打开的四种解决方法

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一：桌面图标进入方法二：运行窗口进入检查版本号对照表php方法三：查找文件路径方法四：检查 S
阅读更多...
Spring IoC 容器的使用详解(最新整理)

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注
阅读更多...
Python内置函数之classmethod函数使用详解

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》：本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客
阅读更多...
Linux中压缩、网络传输与系统监控工具的使用完整指南

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压：数据存储与传输的优化核心1. zip/unzip：通用压缩格式的便捷操作2.
阅读更多...
使用Python实现可恢复式多线程下载器

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传：从崩溃边缘抢救进度二、多线程加速：榨干网络带宽三、速度控制：做网络的好邻居四、终端交互
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2