spark-submit以集群方式提交应用报错:Exception in thread main java.sql.SQLException: No suitable driver

本文主要是介绍spark-submit以集群方式提交应用报错:Exception in thread main java.sql.SQLException: No suitable driver,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、问题背景

因现场项目临近上线,在现场测试环境部署后台程序时候出现各种奇怪的问题,这些都是在公司内部测试环境都没有遇到过的,很有记录下来的必要。

Spark应用程序的主要业务逻辑是将MySQL中表数据全量同步到Spark中,以yarn-client模式提交执行报错:

Exception in thread "main" java.sql.SQLException: No suitable driver

看到这个报错的第一反应就是环境问题,ClassPath路径下没有mysql驱动包。

 

二、错误方案

由于笔者当时认为原因就是ClassPath路径下没有mysql驱动包,进行了以下操作步骤:

1. 查看系统的classpath路径下是否有驱动包

# 查看用户环境变量
cat ~/.bash_profile
# 找到export classpath的路径
# 逐个cd进去,发现没有mysql驱动包

2. 复制mysql-connector-java-5.1.39-bin.jar包到classpath所在的路径下

重新spark-submit提交应用还是报同样的错误。

3. 查看应用启动日志

INFO ZooKeeper: Client environment:java.class.path= ......

里面看到了Spark安装目录下的lib文件夹下的相关jar包,想到把mysql-connector-java-5.1.39-bin.jar包复制到这个目录下,但是还是报同样的错误。

4. 想到Spark运行应用是分布式的

因此,就想到把驱动包放到Spark集群的所有节点上。考虑到工作量的问题,想起可以在命令行中增加--jars的参数。

5. 执行命令增加--jars

--jars ./mysql-connector-java-5.1.39-bin.jar

很不幸还是报错。

 

三、成功方案之spark-submit命令增加参数

通过第二部分的错误尝试和搜索网上同样问题的解决方案,发现只增加--jars参数确实不可行。于是尝试再增加--driver-class-path参数。

--jars ./mysql-connector-java-5.1.39-bin.jar \
--driver-class-path ./mysql-connector-java-5.1.39-bin.jar \

执行并没有报错,成功!

 

四、成功方案之代码修改

经过一番折腾,笔者脑海中突然闪过之前好像也遇到Spark从MySQL中读取数据时报找不到XXX类的情况,于是翻出之前整理的笔记,下面这句话让我突然意识到了可能是代码的问题。

//注意:集群上运行时,一定要添加下句话,否则会报找不到mysql驱动的错误prop.put("driver","com.mysql.jdbc.Driver")

查看读取MySQL的工具类代码,发现确实少了“driver”参数,正确的读取MySQL数据的代码如下:

def readMySqlTable(hiveContext:HiveContext, dbTable:String):DataFrame = {val jdbcDF = hiveContext.read.format( "jdbc" ).options(Map( "url" -> this.url,"driver" -> "com.mysql.jdbc.Driver","user" -> this.user,"password" -> this.pwd,"dbtable" -> dbTable )).load()jdbcDF}

重新打包测试,执行命令中不加--jars和--driver-class-path参数,运行没有报错,成功!

 

五、总结

遇到找不到XXXX类、XXXX方法的报错,先排查是不是依赖冲突的问题,大部分情况都是因为依赖冲突,版本不兼容导致找不到类或方法的情况。

本文算是一种特殊情况,用压缩工具打开程序jar包,pom文件中加入的mysql-connect-java驱动确实打入的jar包中,而且工具类中也加入了Class.forName(“com.mysql.jdbc.Driver”)命令,所以发现问题还是比较困难,记录下以后就会避免类似的问题。

 

这篇关于spark-submit以集群方式提交应用报错:Exception in thread main java.sql.SQLException: No suitable driver的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1070898

相关文章

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权,允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true (Spring security默认会带有ROLE_前缀),去

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程,特意画了如下的类图,包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口,接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类,它们之间的依赖,构建起了整个框架。想要理解整个架构,最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文(security context)的信息。当前操作的用户是谁,该用户是否已经被认证,他拥有哪些角色权限…这些都被保

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r