本文主要是介绍关于H2O集群的部署方式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1、前期实践
2、集群部署实践
2.1 Centos环境下kubernetes的快速部署请参考博文:Yum安装Kubernetes(k8s);
2.2 k8s安装完成后,将H2O压缩包上传至centos相关文件夹下,进行解压缩;
2.3 编写flatfile进行集群广播,需在每个h2o节点上传flatfile.txt文件;
2.4 访问master节点的 http://ip:54321 ,查看集群状态(admin-cluster state)如下:
3、结论
1、前期实践
根据官网指导的多播、fllatfile两种方式可以起多节点部署h2o框架,经实践,仅仅单纯的部署,只能找到本机自身的节点信息,同网络内的其他节点无法自动加入,形成集群(与nginx无关);
2、集群部署实践
官网还提示了Hadoop、K8S的分布式部署方式,本文采用K8S集群来辅助进行分布式部署,由于K8S本身有master、node的概念,节点的寻找及加入问题得到解决,然后再启动H2O服务;
2.1 Centos环境下kubernetes的快速部署请参考博文:Yum安装Kubernetes(k8s);
2.2 k8s安装完成后,将H2O压缩包上传至centos相关文件夹下,进行解压缩;
最新H2O下载地址:官网下载
上传至/home 文件夹下: rz h2o.zip
解压缩命令:unzip h2o.zip
切换文件目录: cd h2o
2.3 编写flatfile进行集群广播,需在每个h3o节点上传flatfile.txt文件;
内容如下,然后wq!保存:
master:54321
node1:54321
node2:54321
作业开始前,使用如下命令启动h2o,节点自动加入,形成集群;
java -Xmx4g -jar h2o.jar -flatfile flatfile.txt -name MyCluster
-Xmx4g :表示占用4g的内存空间
-name : 写明要建立的集群名称参数,此处是MyCluster
master启动时:
node1启动时,自动加入集群,此时集群中包含2个节点:
node2启动时,自动加入集群,此时集群中包含3个节点:
2.4 访问master节点的 http://ip:54321 ,查看集群状态(admin-cluster state)如下:
3、结论
使用k8s辅助进行分布式部署h2o自动机器学习服务框架,那么h2o服务的实际性能,是否即是K8S的性能测试,因为实际的资源调度是由K8S来进行统筹分发,那实际的性能优化,主要侧重在K8S方面?
这篇关于关于H2O集群的部署方式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!