spill专题

MapReduce (Shuffle,partition,combiner,Spill )

一、shuffle介绍 1 、shuffle就是洗牌弄乱的意思,shuffle代表map 输出 到reduce 的整个过程,他解决的问题就是如何将多个map task的输出,作为多个reduce task 的输入,下面就来看看shffler是如何对map的输出结果排序,处理,分组成reduce的输入的。 2 、shuffle和partition和combiner的关系是包含关系,shuff