本文主要是介绍spark算子集锦，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Spark 是大数据领域的一大利器，花时间总结了一下 Spark 常用算子，正所谓温故而知新。
Spark 算子按照功能分，可以分成两大类：transform 和 action。Transform 不进行实际计算，是惰性的，action 操作才进行实际的计算。如何区分两者？看函数返回，如果输入到输出都是RDD类型，则认为是transform操作，反之为action操作。
准备
准备阶段包括spark-shell 界面调出以及数据准备。spark-shell 启动命令如下：
bin/spark-shell --master local[*]
其中local[*]是可以更改的，这里启用的是本地模式，出现下面这个界面，恭喜，可以开撸了！
有一点需要说明，sc 和 spark 可以直接在命令行调用，其提示信息如下：
Spark context available as ‘sc’ (master = local[*], app id = local-1547409645312).
Spark session available as ‘spark’.
数据准备
val content =Array("11,Alex,Columbus,7","12,Ryan,New York,8","13,Johny,New York,9","14,Cook,Glasgow,6","15,Starc,Aus,7","16,eric,New York,4","17,richard,Columbus,3")
数据加载和处理
val test_tmp_RDD =sc.parallelize(content).map(line =这篇关于spark算子集锦的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
