makerdd专题

Spark中parallelize函数和makeRDD函数的区别

我们知道,在Spark中创建RDD的创建方式大概可以分为三种:(1)、从集合中创建RDD;(2)、从外部存储创建RDD;(3)、从其他RDD创建。   而从集合中创建RDD,Spark主要提供了两中函数:parallelize和makeRDD。我们可以先看看这两个函数的声明: def parallelize[T:ClassTag](seq:Seq[T],numSlices:Int =def