首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
spill专题
MapReduce (Shuffle,partition,combiner,Spill )
一、shuffle介绍 1 、shuffle就是洗牌弄乱的意思,shuffle代表map 输出 到reduce 的整个过程,他解决的问题就是如何将多个map task的输出,作为多个reduce task 的输入,下面就来看看shffler是如何对map的输出结果排序,处理,分组成reduce的输入的。 2 、shuffle和partition和combiner的关系是包含关系,shuff
阅读更多...