【硬刚Hadoop】HADOOP MAPREDUCE（8）：MapReduce内核源码解析（1）MapTask工作机制

本文主要是介绍【硬刚Hadoop】HADOOP MAPREDUCE（8）：MapReduce内核源码解析（1）MapTask工作机制，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。

MapTask工作机制

MapTask工作机制如图4-12所示。

图4-12  MapTask工作机制

（1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。

（2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。

（3）Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分区（调用Partitioner），并写入一个环形内存缓冲区中。

<

这篇关于【硬刚Hadoop】HADOOP MAPREDUCE（8）：MapReduce内核源码解析（1）MapTask工作机制的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---