Apache Storm 集群安装配置

2024-08-22 14:58

本文主要是介绍Apache Storm 集群安装配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Apache Storm 集群安装配置

在上一篇文章:Apache Storm 实时计算系统中对Storm进行了简要的介绍,本篇文章主要介绍Storm的集群部署。

安装环境

要安装部署Storm,有以下几个步骤:

  • 安装 Java 1.7+
  • 安装 Zookeeper 集群
  • 安装 Apache Storm

由于本人机器环境已经安装了JavaZookeeper,所以对这两方面不做介绍。

集群环境需要多台机器,我这里准备3台机器,他们的IP地址分别是:

  • 192.168.31.224
  • 192.168.31.225
  • 192.168.31.226

下载、安装Storm

首先在Storm官网上下载一个Storm的包

官网地址如下:

http://storm.apache.org/downloads.html
我这里选择1.2.1版本(2018年5月27日16:13:23之前最新版本)

cd /usr/local
wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.2.1/apache-storm-1.2.1.tar.gz 
tar -xzvf apache-storm-1.2.1.tar.gz
rm -rf apache-storm-1.2.1.tar.gz
mv apache-storm-1.2.1.tar.gz storm
vi storm/conf/storm.yaml

执行完以上命令之后,打开Strom的配置文件,修改配置文件以下内容

# 节点IP地址
storm.zookeeper.servers:- "192.168.31.224"
     - "192.168.31.225"
     - "192.168.31.226"
# nimbus 节点的ip
nimbus.seeds: ["192.168.31.224"]# 文件目录
storm.local.dir: "/var/storm"# 指定每个机器上可以启动多少个worker,一个端口号代表一个worker
supervisor.slots.ports:- 6700
     - 6701
     - 6702
     - 6703

修改完以上配置之后,添加环境变量,编辑~/.bashrc文件

export PATH=$PATH:$STORM_HOME/bin

让配置生效:

source ~/.bashrc

以上步骤在3台机器上都执行一遍。

接着在一台机器上启动nimbus/supervisor/ui,另外两台机器启动supervisor即可。

192.168.31.224那台机器执行:

storm nimbus >/dev/null 2>&1 &
storm supervisor >/dev/null 2>&1 &
storm ui >/dev/null 2>&1 &

执行完之后,可以通过jps命令查看:

[root@vm1 storm]# jps
1939 nimbus
2051 Supervisor
2277 Jps
1129 QuorumPeerMain
2159 core
1151 Kafka

可以看到nimbusSupervisor进程,UI进程是core

192.168.31.225/192.168.31.226这两台机器上启动supervisor

storm supervisor >/dev/null 2>&1 &

此时可以访问192.168.31.224:8080看到Strom运行的UI界面。

这里写图片描述

总结

至此,Storm的安装已经完毕,接下来就可以进行拓扑的开发让Storm工作了。

这篇关于Apache Storm 集群安装配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1096601

相关文章

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt

Spring中配置ContextLoaderListener方式

《Spring中配置ContextLoaderListener方式》:本文主要介绍Spring中配置ContextLoaderListener方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录Spring中配置ContextLoaderLishttp://www.chinasem.cntene

如何解决mmcv无法安装或安装之后报错问题

《如何解决mmcv无法安装或安装之后报错问题》:本文主要介绍如何解决mmcv无法安装或安装之后报错问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mmcv无法安装或安装之后报错问题1.当我们运行YOwww.chinasem.cnLO时遇到2.找到下图所示这里3.

浅谈配置MMCV环境,解决报错,版本不匹配问题

《浅谈配置MMCV环境,解决报错,版本不匹配问题》:本文主要介绍浅谈配置MMCV环境,解决报错,版本不匹配问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录配置MMCV环境,解决报错,版本不匹配错误示例正确示例总结配置MMCV环境,解决报错,版本不匹配在col

Nginx中配置HTTP/2协议的详细指南

《Nginx中配置HTTP/2协议的详细指南》HTTP/2是HTTP协议的下一代版本,旨在提高性能、减少延迟并优化现代网络环境中的通信效率,本文将为大家介绍Nginx配置HTTP/2协议想详细步骤,需... 目录一、HTTP/2 协议概述1.HTTP/22. HTTP/2 的核心特性3. HTTP/2 的优

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.