打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
Zeppelin spark.executor.extraClassPath 和

报错如下:


WARN [2017-06-27 15:47:59,777] ({pool-2-thread-2} Logging.scala[logWarning]:66) - 

SPARK_CLASSPATH was detected (set to '/home/raini/spark/lib/mysql-connector-java-5.1.38-bin.jar:').
This is deprecated in Spark 1.0+.

Please instead use:
 - ./spark-submit with --driver-class-path to augment the driver classpath
 - spark.executor.extraClassPath to augment the executor classpath
        

 WARN [2017-06-27 15:47:59,778] ({pool-2-thread-2} Logging.scala[logWarning]:66) - Setting 'spark.executor.extraClassPath' to '/home/raini/spark/lib/mysql-connector-java-5.1.38-bin.jar:' as a work-around.
ERROR [2017-06-27 15:47:59,780] ({pool-2-thread-2} Logging.scala[logError]:91) - Error initializing SparkContext.
org.apache.spark.SparkException: Found both spark.driver.extraClassPath and SPARK_CLASSPATH. Use only the former.
at org.apache.spark.SparkConf
anonfun$validateSettings$7
anonfun$apply$8.apply(SparkConf.scala:543)
at org.apache.spark.SparkConf
anonfun$validateSettings$7
anonfun$apply$8.apply(SparkConf.scala:541)
at scala.collection.immutable.List.foreach(List.scala:381)
at org.apache.spark.SparkConf$$anonfun$validateSettings$7.apply(SparkConf.scala:541)
at org.apache.spark.SparkConf$$anonfun$validateSettings$7.apply(SparkConf.scala:529)






解决:
1.提交的作业可以通过加入--driver-class-path参数来设置driver的classpath。

$  bin/spark-submit --master local[2]  --driver-class-path lib/mysql-connector-java-5.1.35.jar --class  spark.SparkToJDBC ./spark-test_2.10-1.0.jar


2.其实,我们还可以在spark安装包的conf/spark-env.sh通过配置SPARK_CLASSPATH来设置driver的环境变量,如下:

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/iteblog/com/mysql-connector-java-5.1.35.jar


这样也可以解决上面出现的异常。但是,我们不能同时在conf/spark-env.sh里面配置SPARK_CLASSPATH和提交作业加上–driver-class-path参数,否则会出现以上异常。


所以,删掉一个配置即可,这里删掉了spark配置项:export SPARK_CLASSPATH=...




本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
YARN & Mesos,论集群资源管理所面临的挑战
大数据学习路线分享Master的jps
Apache Spark源码走读之7
Spark任务运行详解
大数据开发之Spark入门
Spark4_Cluster Manager、优化Spark
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服