本文主要是介绍Hadoop 1.x的Task，ReduceTask，MapTask随想，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Hadoop的技术体系，最令人称赞的是细节。它的基本原理是非常容易理解的，细节是魔鬼。
hadoop的hdfs是文件系统存储，它有三类节点namenode, scondraynamenode, datanode，前两种在集群分别只有一个节点，而datanode在集群有很多个。hdfs的解耦做的非常好，以至于它可以单独运行，做一个海量数据的文件存储系统。它可以跟mapreduce分别运行。
对mapreduce任务来说，它有两类节点， jobtracker，tasktracker。前者每个集群之后一个，后者有许多个。顾名思义，tasktracker就是运行任务task。task有两种，maptask和reducertask。
一个mapreduce任务job，要做拆分，拆分成若干个inputsplit。每个inputsplit对应一个maptask。maptask执行完，将结果传给reducetask。然后reduecetask处理后将最终结果输出到hdfs存储。
MapTask和ReducerTask的基类是抽象类Task，它们在抽象的层次上近似，只是处理数据的流程不同。每个tasktracker节点可以同时运行这两种task。
这里有复杂的细节。tasktracker和jobtracker通过远程rpc的方式进行心跳服务。心跳服务调用会带上各种信息，有些是tasktracker报告自己的状态和任务执行情况，有些是jobtracker在应答里让tasktracker执行任务，不一而足。
每个job有jobid，拆分成若干个maptask和reducertask之后，又有taskid。每个maptask执行结束，将结果写入hdfs，又通过http的方式传递给reducertask。
于是：
1. 一切通讯由远程rpc调用实现。
2. hdfs是存储，可单独运行。
3. mapreduce是分布式计算，它使用hdfs。
4. task是节点计算的核心。
5. 大量的细节实现以保证可靠性和稳定性。
这篇关于Hadoop 1.x的Task，ReduceTask，MapTask随想的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
