SparkRDD之distinct和first

本文主要是介绍SparkRDD之distinct和first，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

distinct：对RDD中的元素进行去重。

first:返回RDD中第一个元素。

package com.cb.spark.sparkrdd;import java.util.Arrays;import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;public class DistinctFirst {public static void main(String[] args) {SparkConf conf = new SparkConf().setAppName("DistinctFirst").setMaster("local");JavaSparkContext sc = new JavaSparkContext(conf);JavaRDD<String> javaRDD = sc.parallelize(Arrays.asList("cat", "dog", "pig", "mouse", "cat", "Rat", "dog"));// mouse Rat dog pig catjavaRDD.distinct().foreach(x -> System.out.print(x + " "));// catSystem.out.println(javaRDD.first());sc.stop();}
}

 

这篇关于SparkRDD之distinct和first的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---