Hadoop Streaming 实战：实用Partitioner类KeyFieldBasedPartitioner

本文主要是介绍Hadoop Streaming 实战：实用Partitioner类KeyFieldBasedPartitioner，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

我们知道，一个典型的Map-Reduce过程包括：Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过KeyFieldBasedPartitioner可以方便地实现二次排序。
使用方法：
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner
一般配合：
-D map.output.key.field.separator及-D num.key.fields.for.partition使用。
map.output.key.field.separator指定key内部的分隔符
num.key.fields.for.partition指定对key分出来的前几部分做partition而不是整个key

示例：
1. 编写map程序mapper.sh；reduce程序reducer.sh; 测试数据test.txt

[html] view plain copy

mapper.sh:  
#!/bin/sh  
cat  reducer.sh:  
#!/bin/sh  
sort  test.txt内容：  
1,2,1,1,1  
1,2,2,1,1  
1,3,1,1,1  
1,3,2,1,1  
1,3,3,1,1  
1,2,3,1,1  
1,3,1,1,1  
1,3,2,1,1  
1,3,3,1,1

测试数据test.txt放入hdfs，运行map-reduce程序
[html] view plain copy

$ hadoop streaming /
-D stream.reduce.output.field.separator=, /
-D stream.num.reduce.output.key.fields=4 /
-D map.output.key.field.separator=, /
-D num.key.fields.for.partition=2 /
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner /
-input /app/test/test.txt /
-output /app/test/test_result /
-mapper ./mapper.sh /
-reducer ./reducer.sh /
-file mapper.sh /
-file reducer.sh /
-jobconf mapre.job.name=”sep_test”

$ hadoop fs –cat /app/test/test_result/part-00003
1,2,1,1 1
1,2,2,1 1
1,2,3,1 1

$ hadoop fs –cat /app/test/test_result/part-00004
1,3,1,1 1
1,3,1,1 1
1,3,2,1 1
1,3,2,1 1
1,3,3,1 1
1,3,3,1 1