本文主要是介绍Spark---算子调优之MapPartitions提升Map类操作性能，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
spark中，最基本的原则，就是每个task处理一个RDD的partition。
1、MapPartitions操作的优点：
如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。
但是，使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有的partition数据。只要执行一次就可以了，性能比较高。
2、MapPartitions的缺点：
如果是普通的map操作，一次function的执行就处理一条数据；那么如果内存不够用的情况下，比如处理了1千条数据了，那么这个时候内存不够了，那么就可以将已经处理完的1千条数据从内存里面垃圾回收掉，或者用其他方法，腾出空间来吧。
所以说普通的map操作通常不会导致内存的OOM异常。
但是MapPartitions操作&#x
这篇关于Spark---算子调优之MapPartitions提升Map类操作性能的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
