本文主要是介绍Dl4j使用Spark分布式训练指定CPU后端训练,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Dl4j使用Spark分布式训练指定CPU后端训练
问题描述
1、打包dl4j应用程序,使用spark-submit
在spark集群上分布式运行;
示例提交命令:
spark-submit --class cn.nd4jonSpark.Nd4jTest --master spark://storm6:7077
--deploy-mode client
--driver-memory 4g
--executor-memory 2g hdfs://ns1/spark_lib/Nd4jTestOnMllib-0.0.1-SNAPSHOT.jar > ../logs/err.log
2、Spark分布式集群上均无英伟达显卡,
这篇关于Dl4j使用Spark分布式训练指定CPU后端训练的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!