lzocodec专题

emr+hadoop2.4+spark1.2 class not found com.hadoop.compression.lzo.LzoCodec

aws 云上的 spark standalone 模式下,hadoop集群的core-site.xml有: <property><name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value></property> spark on yarn会默认使用集群

spark取得lzo压缩文件报错 java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec

恩,这个问题,反正是我从来没有注意的问题,但今天还是写出来吧 配置信息 hadoop core-site.xml配置 <property><name>io.compression.codecs</name><value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.