本文主要是介绍【大数据进击】如何设置spark.kryoserializer.buffer.max value，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
如何设置spark.kryoserializer.buffer.max value
在运行Spark计算任务时，出现了Buffer Overflow错误，Kryo序列化在序列化对象时缓存爆了。
反复设置了几次，终于发现了自己的错误，分享出来，希望大家能避坑。
- 设置Kryo为序列化类
//设置Kryo为序列化类（默认为Java序列类）
sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
- 提高spark.kryoserializer.buffer.max值
//两种设置方法
sparkConf.set("spark.kryoserializer.buffer.max", "128m")
sparkConf.set("spark.kryoserializer.buffer.max.mb", "128")
- 检查是否成功设置Kryo参数
//打印日志，检查是否成功设置
println( sparkConf.get("spark.kryoserializer.buffer.max") )这篇关于【大数据进击】如何设置spark.kryoserializer.buffer.max value的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
