Spark源码分析之Spark Shell（上）

本文主要是介绍Spark源码分析之Spark Shell（上），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。

先来介绍一下Spark-shell是什么？

Spark-shell是提供给用户即时交互的一个命令窗口，你可以在里面编写spark代码，然后根据你的命令立即进行运算。这种东西也被叫做REPL,(Read-Eval-Print Loop)交互式开发环境。

先来粗略的看一眼，其实没有多少代码：

#!/usr/bin/env bash# Shell script for starting the Spark Shell REPLcygwin=false
case "`uname`" inCYGWIN*) cygwin=true;;
esac# Enter posix mode for bash
set -o posixif [ -z "${SPARK_HOME}" ]; thenexport SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
fiexport _SPARK_CMD_USAGE="Usage: ./bin/

这篇关于Spark源码分析之Spark Shell（上）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---