本文主要是介绍RDDs的特性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
RDDs的特性
血统关系图
Spark维护这RDDs之间的依赖关系和创建关系,叫做血统关系图
spark使用血统关系图计算每个RDD的需求和恢复丢失的数据
代表着RDD是怎么获得的,而且又做了什么操作
作用:丢失时可以找回
延迟计算:
spark对RDDs的计算是他们第一次使用action操作的时候
处理大数据时非常有用,可以减少数据的传输
spark内部记录metadata表明transformation操作已经被响应了
加载数据也是延迟计算,数据只有在必要时,才被加载进去
RDD.persist() 持久化
默认每次在RDDs上进行action操作时,spark都会重新计算RDDs
如果想重复利用一个RDD,可以使用RDD.persist()
unpersist()方法从缓存中移出
RDD.persist()
缓存级别,
memory only,空间占用高,cpu低
disk only,空间低,CPU高
memory-disk,内存放不下时候,往硬盘里放,空间高,CPU中
memory-disk-ser内存中放不下,往硬盘放,内存中数据是序列化的,空间低,CPU高
这篇关于RDDs的特性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!