首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
fastutil专题
Spark性能调优---fastutil优化数据格式
Spark中应用fastutil的场景: 1、如果算子函数使用了外部变量;那么第一,你可以使用Broadcast广播变量优化;第二,可以使用Kryo序列化类库,提升序列化性能和效率;第三,如果外部变量是某种比较大的集合,那么可以考虑使用fastutil改写外部变量,首先从源头上就减少内存的占用,通过广播变量进一步减少内存占用,再通过Kryo序列化类库进一步减少内存占用。 2、在你的算子函数里,
阅读更多...