Kafka 学习笔记(二)--- topic命令行操作

2024-08-20 16:32

本文主要是介绍Kafka 学习笔记(二)--- topic命令行操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上一篇介绍了kafka的特点,这篇来记录kafka的主要工作方式: 1.创建Topic, 2. 生产者生产  3.消费者消费

首先 创建 一个 test topic, 命令如下:

./kafka-topics.sh --zookeeper 172.28.201.217:2181 --create --topic test --replication-factor 2 --partitions 3

这里有两个参数需要注意:

replication-factor: 副本因子, 说明topic的每个分区分别有两个副本

partitions: 分区数, 说明 该topic有三个分区

然后 生产者, 利用 命令行来向topic中生产数据:

./kafka-console-producer.sh --broker-list 172.28.201.211:9092,172.28.201.212:9092,172.28.201.213:9092 --topic test --producer.config ../config/producer.properties

 输入数据

然后 消费者, 利用 命令行来消费topic中数据:

./kafka-console-consumer.sh --zookeeper 172.24.201.212:2181 --topic test --new-consumer --from-beginning --consumer.config ../config/consumer.properties

结果如下

 

除此外 调试常用的命令行还有

查看 集群里的topic详情
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --describe只是列出所有主题名字
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --list给集群中test主题增加分区数到16
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --alert --topic test --partitions 16删除某个主题
./bin/kafka-topics.sh --zookeeper 10.95.26.27:2181 --delete --topic test查看某个消费群组的消费情况
./kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.16.17.12:9092 --command-config ../config/consumer.properties --describe --group groupid

另外 kafka consumer 命令行消费时,加 --from-beginning  会消费历史数据,如果不加则会消费新进入的数据

这篇关于Kafka 学习笔记(二)--- topic命令行操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090584

相关文章

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O

Debezium 与 Apache Kafka 的集成方式步骤详解

《Debezium与ApacheKafka的集成方式步骤详解》本文详细介绍了如何将Debezium与ApacheKafka集成,包括集成概述、步骤、注意事项等,通过KafkaConnect,D... 目录一、集成概述二、集成步骤1. 准备 Kafka 环境2. 配置 Kafka Connect3. 安装 D

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

C++实现封装的顺序表的操作与实践

《C++实现封装的顺序表的操作与实践》在程序设计中,顺序表是一种常见的线性数据结构,通常用于存储具有固定顺序的元素,与链表不同,顺序表中的元素是连续存储的,因此访问速度较快,但插入和删除操作的效率可能... 目录一、顺序表的基本概念二、顺序表类的设计1. 顺序表类的成员变量2. 构造函数和析构函数三、顺序表

使用C++实现单链表的操作与实践

《使用C++实现单链表的操作与实践》在程序设计中,链表是一种常见的数据结构,特别是在动态数据管理、频繁插入和删除元素的场景中,链表相比于数组,具有更高的灵活性和高效性,尤其是在需要频繁修改数据结构的应... 目录一、单链表的基本概念二、单链表类的设计1. 节点的定义2. 链表的类定义三、单链表的操作实现四、

Python利用自带模块实现屏幕像素高效操作

《Python利用自带模块实现屏幕像素高效操作》这篇文章主要为大家详细介绍了Python如何利用自带模块实现屏幕像素高效操作,文中的示例代码讲解详,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、获取屏幕放缩比例2、获取屏幕指定坐标处像素颜色3、一个简单的使用案例4、总结1、获取屏幕放缩比例from

通过prometheus监控Tomcat运行状态的操作流程

《通过prometheus监控Tomcat运行状态的操作流程》文章介绍了如何安装和配置Tomcat,并使用Prometheus和TomcatExporter来监控Tomcat的运行状态,文章详细讲解了... 目录Tomcat安装配置以及prometheus监控Tomcat一. 安装并配置tomcat1、安装