本文主要是介绍hadoop 压缩-snappy,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
下载安装Apache hadoop-1.2.1(bin.tar.gz文件)搭建集群后,在运行wordcount 时报警告 WARN snappy.LoadSnappy: Snappy native library not loaded。
我们想要给Hadoop集群增加snappy压缩支持。很多发行版的hadoop已经内置了snappy/lzo压缩,比如cloudera CDH, Hortonworks HDP. 但是Apache发行版安装包大多不带压缩支持。(Apache hadoop-.1.21 RPM版本Hadoop (hadoop-1.2.1-1.x86_64.rpm
)已经有snappy支持,但其hadoop-1.2.1-bin.tar.gz 并无压缩支持)
1. snappy安装
1. 给OS安装 g++:
centos:
yum -y update gcc
yum -y install gcc+ gcc-c++
ubuntu:
apt-get update gcc
apt-get install g++
2. 下载snappy 源码 , http://code.google.com/p/snappy/downloads/list (可以看到 snappy-1.1.1.tar.gz) 下载后解压(默认目录为 snappy-1.1.1 )
到解压后的目录依次执行:
1) ./configure
2) make
这篇关于hadoop 压缩-snappy的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!