本文主要是介绍Rdds基本操作Action,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Rdds基本操作Action
action,在RDD上计算出一个结果
把结果返回给driver program或保存在文件系统,count(), save
reduce()
接受一个函数,作用在RDD两个类型相同的元素上返回一个新元素
实现元素累加,计数,和其他类型的聚集操作
val rdd=sc.parallelize(Array(1,2,3,3))
rdd.collect()
Array[Int] = Array(1,2,3,3)
rdd.reduce((x,y)=>x+y) 1+2+3+3
Int = 9
collect
遍历整个RDD,向driver program返回RDD的内容
返回的内容需要单机内存能够容纳下(因为数据要拷贝给driver,测试使用)
大量数据,saveAsTextFile()
take(n):
返回RDD的n个元素(同时尝试访问最少的分区)
返回结果是无序的,测试使用
随机取n个
rdd.take(2) Array[Int]=Array(1,2)
top():
排序(根据RDD中数据的比较器)
rdd.top(2) 3 3
foreach()
计算RDD中每个元素,但是不返回到本地
不保存数据
可以配合println()友好的打印出数据
这篇关于Rdds基本操作Action的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!