本文主要是介绍Spark错误异常-stdout日志乱码,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
采用Apache版本Spark1.2.1时没有出现乱码,但Spark-1.1.0-cdh5.2.1版本中,在分布处理的map函数里对中文数据进行debug打印输出进行时出现问号乱码
val rs = rdd.filter(e => {val (lable,text) = (e._2(2), e._2(3)); m.filterItem(lable, text) }).reduceByKey((x,y) => m.merge(x, y)).map{case (x,y) => {println(x + "\t" + y); (x._1.toLong, x._2, y(1), y(3) )}}// 打印输出内容
china.cn/, A0, ,???:???,,??:?????????????138?,??:7975209__??:15028078833__??:15176090928,,,,,,,,????:???????????????????????(11)???,,,,, false, 4, 7)
????????????? 17 ,???:???,,??:?????????????138?
这篇关于Spark错误异常-stdout日志乱码的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!