本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。 1．ReduceTask工作机制 ReduceTask工作机制，如图4-19所示。 图4-19 ReduceTask工作机制 （1）Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中

大数据技术之_05_Hadoop学习_03_MapReduce 3.3.4 WritableComparable排序3.3.5 WritableComparable排序案例实操（全排序）3.3.6 WritableComparable排序案例实操（区内排序）3.3.7 Combiner合并3.3.8 Combiner合并案例实操3.3.9 GroupingComparator分组（辅助排序/

Hadoop的技术体系，最令人称赞的是细节。它的基本原理是非常容易理解的，细节是魔鬼。 hadoop的hdfs是文件系统存储，它有三类节点namenode, scondraynamenode, datanode，前两种在集群分别只有一个节点，而datanode在集群有很多个。hdfs的解耦做的非常好，以至于它可以单独运行，做一个海量数据的文件存储系统。它可以跟mapreduce分别运行。

seven day second 学习了MapReduce的整体工作机制https://blog.csdn.net/ZJX103RLF/article/details/88965770 经过做了几个mapreduce练习，今儿再看看内部的核心工作机制（先学难的再回顾基础）：   首先mapreduce是个分布式的，它的第一个工作进程叫maptask（真正的进程名字叫yarn child-->

一、mapTask并行度的决定机制 1、maptask的并行度决定map阶段的任务处理并发度，它可以决定job的处理速度。但并不是MapTask并行实例越多越好，它是综合了很多因素来决定的。 2、一个job的map阶段并行度由客户端在提交job时决定，而客户端对map阶段并行度的规划的基本逻辑为： 将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每

前言 Reduce会从Mapper任务中拉取很多小文件，小文件内部有序，但是整体是没序的，Reduce会合并小文件，然后套个归并算法，变成一个整体有序的文件。 Reducer 主要有3个基本的过程： 1.Shuffle阶段 Reducer会通过网络IO将Mapper端的排序输出给复制过来。 2.Sort阶段 按key对reducer输入进行排序（因为不同的mapper可能输出相同的key）shu

MapTask工作机制 MapTask工作机制一共分为：Read阶段，Map阶段，Collect阶段，溢写阶段，Combine阶段 ps: 来自尚学堂ppt Read阶段： MapTask通过用户编写的ReacordReader，从输入Insplit中解析出一个个key/value。Map阶段： 该节点主要是将解析出的key/value交给用户编写map（）函数处理，并产生一系列新的key/