SparkCore（14）：RDD宽依赖和窄依赖

本文主要是介绍SparkCore（14）：RDD宽依赖和窄依赖，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、两者区别的架构

1.宽依赖和窄依赖操作算子的区别

2.宽依赖和窄依赖类型区别

 

二、概念

1.窄依赖

（1）概念

    子RDD的每个分区的数据来自常数个父RDD分区；父RDD的每个分区的数据到子RDD的时候在一个分区中进行处理。即，父依赖的每个分区都分到子依赖的一个分区中

（2）对应算子

    （a）输入输出一对一的算子，且结果 RDD 的分区结构不变，主要是 map 、 flatMap
    （b）输入输出一对一，但结果 RDD 的分区结构发生了变化，如 union 、 coalesce(要求shuffle  参数为false)
    （c）从输入中选择部分元素的算子，如 filter 、 subtract 、 sample

（3）窄依赖类型：

    RangeDependency
    OneToOneDependency

2.宽依赖

（1）概念

    子RDD的每个分区的数据来自所有的父RDD分区；父RDD的每个分区的数据都有可能分配到所有的子RDD分区中

（2）对应算子

    （a）对单个 RDD 基于 key 进行重组和 reduce ，如 groupByKey 、 distinct 、 reduceByKey ；
    （b）对两个 RDD 基于 key 进行 join 和重组，如 join(分区数量进行改变)

  (3)宽依赖类型：

      shuffleDependency

这篇关于SparkCore（14）：RDD宽依赖和窄依赖的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---