本文主要是介绍大数据第二周汇总，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
计算框架
指实现某项人物或某项工作从开始到结束得计算过程或流程
mapreduce计算框架
并行计算
指一个大的人物拆分成多个小人物，将多个小任务分发到多个节点上，每个节点同时执行计算
Hadoop为什么比传统技术方案快
1.分布式存储
2.分布式并行计算
3.节点横向扩展
4.移动程序到数据端
5.多个数据副本
mapreduce核心思想
分而治之，先分后和。将一个大的、复杂的工作或人物拆分成多个小的人物，并行处理，最终进行合并
mapreduce 由 map 和 reduce 组成
map：将数据进行拆分
reduce：对数据进行汇总
WordCount计算
计算每个单词出现的个数
原始数据zhangsan,lisi,wangwuzhaoliu,maqizhangsan,zhaoliu,wangwulisi,wangwu
期望的最终
zhangsan 2
lisi 2
wangwu 3
zhaoliu 2
maqi 1
偏移量
指的是每行行首字母移动到文档的最前面需要移动的字符。
编写Map代码
这篇关于大数据第二周汇总的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
