SparkSql搭建

本文主要是介绍SparkSql搭建，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Spark on yarn已搭建好，开始使用SparkSql，做如下工作

1、将hive-site.xml copy至$SPARK_HOME/conf目录，注意配置hive.metastore.uris、hive.metastore.client.socket.timeout

2、复制mysql-connector-java.jar 到$SPARK_HOME/lib目录

3、配置spark-env.sh

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/spark/lib/mysql-connector-java.jar:/usr/lib/hive/lib/*

4、开始使用

./bin/spark-sql --master yarn --num-executors 30 --executor-cores 4 --executor-memory 8g

这篇关于SparkSql搭建的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---