Scala实现Spark计算文件中行数的例子

本文主要是介绍Scala实现Spark计算文件中行数的例子，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

package we.com.serviceimport org.apache.spark.sql.SparkSession/**** @author yangxin_Ryan* Spark计算文件中行数的例子*/
object SimpleApp {def main(args: Array[String]) {val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system// 生成Spark运行任务环境val spark = SparkSession.builder.appName("Simple Application").getOrCreate()// 持久化到内存val logData = spark.read.textFile(logFile).cache()// 统计其中数据行中包含a字符的行数val numAs = logData.filter(line => line.contains("a")).count()// 统计其中数据行中包含b字符的行数val numBs = logData.filter(line => line.contains("b")).count()println(s"Lines with a: $numAs, Lines with b: $numBs")// 停止Spark任务spark.stop()}
}

 

这篇关于Scala实现Spark计算文件中行数的例子的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---