大数据 - Hadoop系列《四》- MapReduce（分布式计算引擎）的核心思想

本文主要是介绍大数据 - Hadoop系列《四》- MapReduce（分布式计算引擎）的核心思想，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述-CSDN博客

13.1 MapReduce实例进程

13.2 阶段组成

13.4 概述

13.4.1 🥙Map阶段（映射）

13.4.2 🥙Reduce阶段执行过程

13.4.3 🥙Shuffle机制

一个完整的MapReduce程序在分布式运行时有三类

13.3 MapReduce数据类型

注意：整个MapReduce程序中，数据都是以kv键值对的形式流转的

在实际编程解决各种业务问题中，需要考虑每个阶段的输入输出kv分别是什么

MapReduce内置了很多默认属性，比如排序、分组等，都和数据的k有关，所以说kv的类型数据确定及其重要的。

一个最终完整版本的MR程序需要用户编写的代码和Hadoop自己实现的代码整合在一起才可以。

其中用户负责map、reduce两个阶段的业务问题，hadoop负责底层所有的技术问题；

由于MapReduce计算引擎天生的弊端（慢），当下企业直接使用率以及日薄西山了，所以在企业中工作很少涉及到MapReduce直接编程，但是某些软件的背后还依赖MapReduce引擎。

可以通过官方提供的示例来感受MapReduce及其内部执行流程，因为后续的新的计算引擎比如Spark,当中就有MapReduce深深的影子存在。

MR的核心思想如下图所示:

MapReduce程序的工作分两个阶段进行：

这个函数单独地应用在每个单元格上的操作就属于映射（Map).

默认Split size=Block size(128M），每一个切片由一个MapTask处理。（getsplits)

默认是按行读取数据，key是每一行的起始位置偏移量，value是本行的文本内容（TextInputFormat)

每读取解析出来的一个<key,value>，调用一次map方法

第四阶段：按照一定规则对Map输出的键值对进行分区partition.默认不分区，因为只有一个reducetask,分区的数量就是reducetask运行的数量。
第五阶段：Map输出数据写入内存缓冲区，达到比例溢出到磁盘上。溢出spill的时候根据key进行排序sort.默认根据key字典序排序。
第六阶段：对所有溢出文件进行最终的merge合并，成为一个文件。

第一阶段：ReduceTask会主动从MapTask复制拉取属于需要自己处理的数据。

第二阶段：把拉取来的数据，全部进行合并merge,即把分散的数据合并成一个大的数据，再会合并的数据排序。

第三阶段：是对排序后的键值对调用reduce方法。键相等的键值对调用一次reduce方法。最后把这些输出的键值对写入到HDFS文件中。

1. 概述

2. Map端Shuffle

Collect阶段：将MapTask的结果收集输出到默认大小为100M的环形缓冲区，保留之前会对key进行分区的计算，默认Hash分区
Spill阶段：当内存中的数据量达到一定的阈值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了combiner，还会将相同分区号和key的数据进行排序。
Merge阶段：把所有溢出的临时文件进行一次合并操作，以确保一下MapTask最终只产生一个中间数据文件。

3. Reducer端Shuffle

Copy阶段：ReduceTask启动Fetcher线程到已经完成MapTask的节点上复制一份属于自己的数据。
Merger阶段：在ReduceTask远程复制数据的同时，会在后台开启两个线程对内存到本地的数据文件进行合并操作。
Sort阶段：在对数据进行合并的同时，会进行排序操作，由于MapTask阶段已经对数据进行了局部的排序，ReduceTask只需保证copy的数据的最终整体有效性即可。

4. Shuffle机制弊端