第7章 Kafka-Kraft模式【Kafka】

本文主要是介绍第7章 Kafka-Kraft模式【Kafka】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

2024-3-27 22:46:07

本文是根据尚硅谷学习所做笔记

仅供学习交流使用，转载注明出处

推荐

【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）

尚硅谷大数据技术之Kafka （作者：尚硅谷研究院） 版本：V3.0.0

第7章 Kafka-Kraft模式

7.1 Kafka-Kraft架构

左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。右图为kraft模式架构（实验性），不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。

这样做的好处有以下几个：

• Kafka不再依赖外部框架，而是能够独立运行；

• controller管理集群时，不再需要从zookeeper中先读取数据，集群性能上升；

• 由于不依赖zookeeper，集群扩展时不再受到zookeeper读写能力限制；

• controller不再动态选举，而是由配置文件规定。这样我们可以有针对性的加强controller节点的配置，而不是像以前一样对随机controller节点的高负载束手无策。

7.2 Kafka-Kraft集群部署

1）再次解压一份kafka安装包

[atguigu@hadoop102 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

2）重命名为kafka2

[atguigu@hadoop102 module]$ mv kafka_2.12-3.0.0/ kafka2

3）在hadoop102上修改/opt/module/kafka2/config/kraft/server.properties配置文件

[atguigu@hadoop102 kraft]$ vim server.properties#kafka的角色（controller相当于主机、broker节点相当于从机，主机类似zk功能）
process.roles=broker, controller
#节点ID
node.id=2
#controller服务协议别名
controller.listener.names=CONTROLLER
#全Controller列表
controller.quorum.voters=2@hadoop102:9093,3@hadoop103:9093,4@hadoop104:9093
#不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
#broker服务协议别名
inter.broker.listener.name=PLAINTEXT
#broker对外暴露的地址
advertised.Listeners=PLAINTEXT://hadoop102:9092
#协议别名到安全协议的映射
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
#kafka数据存储目录
log.dirs=/opt/module/kafka2/data

4）分发kafka2

[atguigu@hadoop102 module]$ xsync kafka2/

• 在hadoop103和hadoop104上需要对node.id相应改变，值需要和controller.quorum.voters对应。

• 在hadoop103和hadoop104上需要根据各自的主机名称，修改相应的advertised.Listeners地址。

5）初始化集群数据目录

（1）首先生成存储目录唯一ID。

[atguigu@hadoop102 kafka2]$ bin/kafka-storage.sh random-uuid
J7s9e8PPTKOO47PxzI39VA

（2）用该ID格式化kafka存储目录（三台节点）。

[atguigu@hadoop102 kafka2]$ bin/kafka-storage.sh format -t 
J7s9e8PPTKOO47PxzI39VA -c /opt/module/kafka2/config/kraft/server.properties[atguigu@hadoop103 kafka2]$ bin/kafka-storage.sh format -t 
J7s9e8PPTKOO47PxzI39VA -c /opt/module/kafka2/config/kraft/server.properties[atguigu@hadoop104 kafka2]$ bin/kafka-storage.sh format -t 
J7s9e8PPTKOO47PxzI39VA -c /opt/module/kafka2/config/kraft/server.properties

6）启动kafka集群

[atguigu@hadoop102 kafka2]$ bin/kafka-server-start.sh -daemon 
config/kraft/server.properties[atguigu@hadoop103 kafka2]$ bin/kafka-server-start.sh -daemon 
config/kraft/server.properties[atguigu@hadoop104 kafka2]$ bin/kafka-server-start.sh -daemon 
config/kraft/server.properties

7）停止kafka集群

[atguigu@hadoop102 kafka2]$ bin/kafka-server-stop.sh
[atguigu@hadoop103 kafka2]$ bin/kafka-server-stop.sh
[atguigu@hadoop104 kafka2]$ bin/kafka-server-stop.sh

7.3 Kafka-Kraft集群启动停止脚本

1）在/home/atguigu/bin目录下创建文件kf2.sh脚本文件

[atguigu@hadoop102 bin]$ vim kf2.sh

脚本如下：

#! /bin/bashcase $1 in
"start"){for i in hadoop102 hadoop103 hadoop104doecho " --------启动 $i Kafka2-------"ssh $i "/opt/module/kafka2/bin/kafka-server-start.sh -daemon /opt/module/kafka2/config/kraft/server.properties"done
};;
"stop"){for i in hadoop102 hadoop103 hadoop104doecho " --------停止 $i Kafka2-------"ssh $i "/opt/module/kafka2/bin/kafka-server-stop.sh "done
};;
esac

2）添加执行权限

[atguigu@hadoop102 bin]$ chmod +x kf2.sh

3）启动集群命令

[atguigu@hadoop102 ~]$ kf2.sh start

4）停止集群命令

[atguigu@hadoop102 ~]$ kf2.sh stop

最后

---

2024-3-27 22:46:16

---

p65~p65

---

Markdown 3559字数 194行数
HTML 3208字数 98段落

---

这篇关于第7章 Kafka-Kraft模式【Kafka】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---