本文主要是介绍MapReduce大致执行过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
大致过程:
- 将要执行的MapReduce程序复制到Master和每一台Worker机器中
- Master决定Map程序与Reduce程序分别由哪些Worker机器执行
- 将所有的文件分块,分配到执行Map程序的Worker机器中进行Map
- 将Map后的结果存入Worker机器的本地磁盘
- 执行Reduce程序的Worker机器远端读取每一份Map结果,进行调整排序,同时执行Reduce程序
- 将使用者需要的运算结果输出
另外,这个博客写的挺不错。
http://www.cnblogs.com/sharpxiajun/p/3151395.html
这篇关于MapReduce大致执行过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!