使用docker搭建kafka集群、可视化操作台

2023-10-14 16:45

本文主要是介绍使用docker搭建kafka集群、可视化操作台,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

单机搭建

        1 拉取zookeeper镜像

                docker pull wurstmeister/zookeeper 

        2  启动zookeeper容器

                docker run -d  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

        3 拉取kafka镜像

                docker pull wurstmeister/kafka

        4 启动kafka镜像

              docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=1 -e                 KAFKA_ZOOKEEPER_CONNECT=192.168.56.103:2181/kafka -e                 KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.103:9092 -e                 KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                 wurstmeister/kafka

        5 拉取kafka-map镜像

                docker pull dushixiang/kafka-map:latest

        6 启动kafka-map容器

                  docker run -d --name kafka-map \
                    -p 9001:8080 \
                    -v /opt/kafka-map/data:/usr/local/kafka-map/data \
                    -e DEFAULT_USERNAME=admin \
                    -e DEFAULT_PASSWORD=admin \
                    dushixiang/kafka-map:latest

        7  访问:http://192.168.56.103:9001

                

        点击右上角+号完成kafka的接入:

        

        9  kafka常用命令


                    docker exec -it kafka /bin/bash
                    cd /opt/kafka_2.13-2.8.1/bin
           创建主题:
            ./kafka-topics.sh --create --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --partitions 2 --replication-factor 2 --topic first-create
   
            作为消费端:
            ./kafka-console-consumer.sh --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --topic test-4 --from-beginning


           作为生产者:
            ./kafka-console-producer.sh --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --topic test-4 

集群搭建

        本次基于docker搭建kafka集群,zookeeper使用单实例

        1 准备2台虚拟机,ip分别是:192.168.56.103,192.168.56.104
 

        2 104 上操作

                

                a 拉取zookeeper镜像
                      docker pull wurstmeister/zookeeper 

                  b 启动zookeeper容器
                      docker run -d  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime                         wurstmeister/zookeeper

                  c 拉取kafka镜像
                      docker pull wurstmeister/kafka

                  d 启动kafka容器
                      docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=1 -e                         KAFKA_ZOOKEEPER_CONNECT=192.168.56.104:2181/kafka -e                         KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.104:9092 -e                         KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                         wurstmeister/kafka
  
                  e 拉取kafka-map镜像
                     docker pull dushixiang/kafka-map:latest
                  f 启动kafka-map容器
                    docker run -d --name kafka-map \
                    -p 9001:8080 \
                    -v /opt/kafka-map/data:/usr/local/kafka-map/data \
                    -e DEFAULT_USERNAME=admin \
                    -e DEFAULT_PASSWORD=admin \
                    dushixiang/kafka-map:latest

        3 103上操作

                

                 a 拉取kafka镜像
                    docker pull wurstmeister/kafka

                 b 启动kafka容器
                    docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=2 -e                         KAFKA_ZOOKEEPER_CONNECT=192.168.56.103:2181/kafka -e                         KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.103:9092 -e                         KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                         wurstmeister/kafka
                    注意:103和104启动kafka的区别就是指定不同的KAFKA_BROKER_ID,如果是以配置文件启动的,在配置文件中修改即可

                
        4 登录到kafka-map上创建对应的kafka集群信息,实现界面化操作

                

这篇关于使用docker搭建kafka集群、可视化操作台的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/211821

相关文章

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

基于Python打造一个可视化FTP服务器

《基于Python打造一个可视化FTP服务器》在日常办公和团队协作中,文件共享是一个不可或缺的需求,所以本文将使用Python+Tkinter+pyftpdlib开发一款可视化FTP服务器,有需要的小... 目录1. 概述2. 功能介绍3. 如何使用4. 代码解析5. 运行效果6.相关源码7. 总结与展望1

使用Python实现一键隐藏屏幕并锁定输入

《使用Python实现一键隐藏屏幕并锁定输入》本文主要介绍了使用Python编写一个一键隐藏屏幕并锁定输入的黑科技程序,能够在指定热键触发后立即遮挡屏幕,并禁止一切键盘鼠标输入,这样就再也不用担心自己... 目录1. 概述2. 功能亮点3.代码实现4.使用方法5. 展示效果6. 代码优化与拓展7. 总结1.

使用Python开发一个简单的本地图片服务器

《使用Python开发一个简单的本地图片服务器》本文介绍了如何结合wxPython构建的图形用户界面GUI和Python内建的Web服务器功能,在本地网络中搭建一个私人的,即开即用的网页相册,文中的示... 目录项目目标核心技术栈代码深度解析完整代码工作流程主要功能与优势潜在改进与思考运行结果总结你是否曾经

Docker镜像修改hosts及dockerfile修改hosts文件的实现方式

《Docker镜像修改hosts及dockerfile修改hosts文件的实现方式》:本文主要介绍Docker镜像修改hosts及dockerfile修改hosts文件的实现方式,具有很好的参考价... 目录docker镜像修改hosts及dockerfile修改hosts文件准备 dockerfile 文

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》:本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务(crontab)二、crontab基础1、cro

kotlin中const 和val的区别及使用场景分析

《kotlin中const和val的区别及使用场景分析》在Kotlin中,const和val都是用来声明常量的,但它们的使用场景和功能有所不同,下面给大家介绍kotlin中const和val的区别,... 目录kotlin中const 和val的区别1. val:2. const:二 代码示例1 Java

C++变换迭代器使用方法小结

《C++变换迭代器使用方法小结》本文主要介绍了C++变换迭代器使用方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1、源码2、代码解析代码解析:transform_iterator1. transform_iterat

C++中std::distance使用方法示例

《C++中std::distance使用方法示例》std::distance是C++标准库中的一个函数,用于计算两个迭代器之间的距离,本文主要介绍了C++中std::distance使用方法示例,具... 目录语法使用方式解释示例输出:其他说明:总结std::distance&n编程bsp;是 C++ 标准

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方