使用docker搭建kafka集群、可视化操作台

2023-10-10 15:13

本文主要是介绍使用docker搭建kafka集群、可视化操作台,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

单机搭建

        1 拉取zookeeper镜像

                docker pull wurstmeister/zookeeper 

        2  启动zookeeper容器

                docker run -d  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper

        3 拉取kafka镜像

                docker pull wurstmeister/kafka

        4 启动kafka镜像

              docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=1 -e                 KAFKA_ZOOKEEPER_CONNECT=192.168.56.103:2181/kafka -e                 KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.103:9092 -e                 KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                 wurstmeister/kafka

        5 拉取kafka-map镜像

                docker pull dushixiang/kafka-map:latest

        6 启动kafka-map容器

                  docker run -d --name kafka-map \
                    -p 9001:8080 \
                    -v /opt/kafka-map/data:/usr/local/kafka-map/data \
                    -e DEFAULT_USERNAME=admin \
                    -e DEFAULT_PASSWORD=admin \
                    dushixiang/kafka-map:latest

        7  访问:http://192.168.56.103:9001

                

        点击右上角+号完成kafka的接入:

        

        9  kafka常用命令


                    docker exec -it kafka /bin/bash
                    cd /opt/kafka_2.13-2.8.1/bin
           创建主题:
            ./kafka-topics.sh --create --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --partitions 2 --replication-factor 2 --topic first-create
   
            作为消费端:
            ./kafka-console-consumer.sh --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --topic test-4 --from-beginning


           作为生产者:
            ./kafka-console-producer.sh --bootstrap-server 192.168.56.103:9092,192.168.56.104:9092 --topic test-4 

集群搭建

        本次基于docker搭建kafka集群,zookeeper使用单实例

        1 准备2台虚拟机,ip分别是:192.168.56.103,192.168.56.104
 

        2 104 上操作

                

                a 拉取zookeeper镜像
                      docker pull wurstmeister/zookeeper 

                  b 启动zookeeper容器
                      docker run -d  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime                         wurstmeister/zookeeper

                  c 拉取kafka镜像
                      docker pull wurstmeister/kafka

                  d 启动kafka容器
                      docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=1 -e                         KAFKA_ZOOKEEPER_CONNECT=192.168.56.104:2181/kafka -e                         KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.104:9092 -e                         KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                         wurstmeister/kafka
  
                  e 拉取kafka-map镜像
                     docker pull dushixiang/kafka-map:latest
                  f 启动kafka-map容器
                    docker run -d --name kafka-map \
                    -p 9001:8080 \
                    -v /opt/kafka-map/data:/usr/local/kafka-map/data \
                    -e DEFAULT_USERNAME=admin \
                    -e DEFAULT_PASSWORD=admin \
                    dushixiang/kafka-map:latest

        3 103上操作

                

                 a 拉取kafka镜像
                    docker pull wurstmeister/kafka

                 b 启动kafka容器
                    docker run -d  --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=2 -e                         KAFKA_ZOOKEEPER_CONNECT=192.168.56.103:2181/kafka -e                         KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.56.103:9092 -e                         KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime                         wurstmeister/kafka
                    注意:103和104启动kafka的区别就是指定不同的KAFKA_BROKER_ID,如果是以配置文件启动的,在配置文件中修改即可

                
        4 登录到kafka-map上创建对应的kafka集群信息,实现界面化操作

                

这篇关于使用docker搭建kafka集群、可视化操作台的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/181278

相关文章

Docker镜像修改hosts及dockerfile修改hosts文件的实现方式

《Docker镜像修改hosts及dockerfile修改hosts文件的实现方式》:本文主要介绍Docker镜像修改hosts及dockerfile修改hosts文件的实现方式,具有很好的参考价... 目录docker镜像修改hosts及dockerfile修改hosts文件准备 dockerfile 文

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》:本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务(crontab)二、crontab基础1、cro

kotlin中const 和val的区别及使用场景分析

《kotlin中const和val的区别及使用场景分析》在Kotlin中,const和val都是用来声明常量的,但它们的使用场景和功能有所不同,下面给大家介绍kotlin中const和val的区别,... 目录kotlin中const 和val的区别1. val:2. const:二 代码示例1 Java

C++变换迭代器使用方法小结

《C++变换迭代器使用方法小结》本文主要介绍了C++变换迭代器使用方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1、源码2、代码解析代码解析:transform_iterator1. transform_iterat

C++中std::distance使用方法示例

《C++中std::distance使用方法示例》std::distance是C++标准库中的一个函数,用于计算两个迭代器之间的距离,本文主要介绍了C++中std::distance使用方法示例,具... 目录语法使用方式解释示例输出:其他说明:总结std::distance&n编程bsp;是 C++ 标准

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J