本文主要是介绍【硬刚Hadoop】HADOOP MAPREDUCE(11):Join应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。
1 Reduce Join
Map端的主要工作:为来自不同表或文件的key/value对,打标签以区别不同来源的记录。然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。
Reduce端的主要工作:在Reduce端以连接字段作为key的分组已经完成,我们只需要在每一个分组当中将那些来源于不同文件的记录(在Map阶段已经打标志)分开,最后进行合并就ok了。
2 Reduce Join案例实操
1)需求
表4-4 订单数据表t_order
id | pid |
这篇关于【硬刚Hadoop】HADOOP MAPREDUCE(11):Join应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!