本文主要是介绍一张图看懂Mapreduce的shuffle过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
shuffle过程
从map()的输出到reduce()的输入,中间的过程被称为shuffle过程。
1.在写入磁盘之前,会先写入环形缓冲区(circular memory buffer),默认100M(mapreduce.task.io.sort.mb可修改),当缓冲区内容达到80M(mapre
duce.map.sort.spill.percent可修改),缓冲区内容会被溢写到磁盘,形成一个spill file文件
2.分区:在写入磁盘之前,会先进分区(partition),而partition的数量是由reducer的数量决定的
job.setNumReduceTasks(2);
默认是用map输出的<key,value>中key的hashcode对NumReduceTasks的个数取余,相同的分到一个区
3.排序:在每一个partition中,都会有一个sort by key
4.combiner:如果有combiner function,在sort之后会执行combiner
,相当于map阶段的rudece 【满足数学运算的交换律和结合律】
5.merge:数个spill files会合并(merge成一个分过区的排过序的文件
6.compress压缩the map output
mapreduce.task.io.sort.factor 一次性合并小文件的数量 默认10个
mapreduce.map.output.compress 启用压缩,默认是false
org.apache.hadoop.io.compress.DefaultCodec 默认使用的压缩算法
reduce side
1.解压缩:如果在map side 已经压缩过,在合并排序之前要先进行解压缩
2.sort phase(merge)
3.group phase:将相同key的value分到一组,形成一个集合
这篇关于一张图看懂Mapreduce的shuffle过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!