本文主要是介绍MapReduce的核心思想,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一、分而治之
MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。
二、Map
Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算,彼此间几乎没有依赖关系
二、Reduec
Reduce负责“合”,即对map阶段的结果进行全局汇总
这篇关于MapReduce的核心思想的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!