zippartitions专题

Spark算子:RDD基本转换操作(6)–zip、zipPartitions

zip       def zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]        zip函数用于将两个RDD组合成Key/Value形式的RDD,这里默认两个RDD的partition数量以及元素数量都相同,否则会抛出异常。 scala> var rdd1 = sc.makeRDD(1 to 10,2)