本文主要是介绍hadoop入门教程-核心组件MR,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
hadoop分布式计算框架--mapReduce,简称MR(离线计算),设计理念为:
----何为分布式计算;
----移动计算,而不是移动数据;
提到mapReduce,我们先来了解它的架构:
* 首先是一个一主多从架构;
* 其次,主要有主 jobTracker和从TaskTracker两部分;其中jobTracker负责调度分配每一个子任务task运行于taskTracker上,如果发现有失败的task就重新分配其任务到其他节点,每一个hadoop集群中只有一个jobTracker,一般它运行在master节点上。
taskTracker主动与jobTracker通信,接收作业,并负责直接执行每一个任务,为了减少网络带宽TaskTracker最好运行在hdfs的datanode上;
具体处理流程和框架如下:
这篇关于hadoop入门教程-核心组件MR的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!