本文主要是介绍Storm架构分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
一、Storm总体架构
客户端提交Topology代码到Nimbus。Nimbus针对该Topology建立本地的目录,Nimbus中的调度器根据Topology的配置计算Task,并把Task分配到不同的Worker上,调度的结果写入Zookeeper中。Zookeeper上创建assignments节点,存储Task和Supervisor中Worker的对应关系。在Zookeeper上创建workerbeats节点来监控Worker的心跳。supervisor去zookeeper上获取分配的Tasks信息,启动一个或者多个Worker来运行。每个Worker上运行多个Task,Task有Executor来具体执行。Worker根据Topology信息初始化建立Task之间的连接,相同Worker内的Task通过DisrupterQueue来通信,不同Worker间默认采用Netty来通信,然后整个Topology就运行起来了。
这篇关于Storm架构分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!