本文主要是介绍【硬刚Hadoop】HADOOP MAPREDUCE(7):Shuffle机制(3),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。
7 Combiner合并
(6)自定义Combiner实现步骤
(a)自定义一个Combiner继承Reducer,重写Reduce方法
public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritable>{@Overrideprotected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {// 1 汇总操作int count = 0;for(IntWrita
这篇关于【硬刚Hadoop】HADOOP MAPREDUCE(7):Shuffle机制(3)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!