本文主要是介绍Apache Storm 集群安装配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Apache Storm 集群安装配置
在上一篇文章:Apache Storm 实时计算系统中对Storm
进行了简要的介绍,本篇文章主要介绍Storm
的集群部署。
安装环境
要安装部署Storm
,有以下几个步骤:
- 安装
Java 1.7+
- 安装
Zookeeper
集群 - 安装
Apache Storm
由于本人机器环境已经安装了Java
和Zookeeper
,所以对这两方面不做介绍。
集群环境需要多台机器,我这里准备3台机器,他们的IP地址分别是:
192.168.31.224
192.168.31.225
192.168.31.226
下载、安装Storm
首先在Storm
官网上下载一个Storm
的包
官网地址如下:
http://storm.apache.org/downloads.html
我这里选择1.2.1
版本(2018年5月27日16:13:23之前最新版本)
cd /usr/local
wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz
tar -xzvf apache-storm-1.2.1.tar.gz
rm -rf apache-storm-1.2.1.tar.gz
mv apache-storm-1.2.1.tar.gz storm
vi storm/conf/storm.yaml
执行完以上命令之后,打开Strom
的配置文件,修改配置文件以下内容
# 节点IP地址
storm.zookeeper.servers:- "192.168.31.224"
- "192.168.31.225"
- "192.168.31.226"
# nimbus 节点的ip
nimbus.seeds: ["192.168.31.224"]# 文件目录
storm.local.dir: "/var/storm"# 指定每个机器上可以启动多少个worker,一个端口号代表一个worker
supervisor.slots.ports:- 6700
- 6701
- 6702
- 6703
修改完以上配置之后,添加环境变量,编辑~/.bashrc
文件
export PATH=$PATH:$STORM_HOME/bin
让配置生效:
source ~/.bashrc
以上步骤在3台机器上都执行一遍。
接着在一台机器上启动nimbus/supervisor/ui
,另外两台机器启动supervisor
即可。
在192.168.31.224
那台机器执行:
storm nimbus >/dev/null 2>&1 &
storm supervisor >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &
执行完之后,可以通过jps
命令查看:
[root@vm1 storm]# jps
1939 nimbus
2051 Supervisor
2277 Jps
1129 QuorumPeerMain
2159 core
1151 Kafka
可以看到nimbus
和Superviso
r进程,UI
进程是core
。
在192.168.31.225/192.168.31.226
这两台机器上启动supervisor
storm supervisor >/dev/null 2>&1 &
此时可以访问192.168.31.224:8080
看到Strom
运行的UI
界面。
总结
至此,Storm
的安装已经完毕,接下来就可以进行拓扑的开发让Storm
工作了。
这篇关于Apache Storm 集群安装配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!