本文主要是介绍MapReduce中使用Combiner--实例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在MapReduce中,当map生成的数据过大时,带宽就成了瓶颈,怎样精简压缩传给Reduce的数据,有不影响最终的结果呢。有一种方法就是使用Combiner,Combiner号称Map本地的Reduce,Reduce最终的输入,是Combiner的输出。
使用combiner后:
Reduce shuffle bytes、Reduce input records已相应减少。
比如WordCount的例子:
import java.io.IOException;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;//4个泛型中,前两个是指定mapper输入数据的类型,KEYI
这篇关于MapReduce中使用Combiner--实例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!