linux 的各项安装以及kafka的使用

2024-04-28 02:58
文章标签 linux 安装 使用 kafka 各项

本文主要是介绍linux 的各项安装以及kafka的使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为了把 kafka代码跑起来, 搭了一天的环境。

具体如下: 在 windows系统中,增加虚拟机CentOS, 然后在CentOS中安装jdk,maven,zk,idea,kafka等必须的软件。

CentOS与本地windows的交互 使用xshell软件 加上 rz,sz 命令。

安装linux jdk:
https://www.cnblogs.com/shihaiming/p/5809553.html

安装linux zk:
https://www.cnblogs.com/jimmy-muyuan/p/8748006.html

安装linux maven:
https://www.cnblogs.com/freeweb/p/5241013.html

安装linux idea:
https://blog.csdn.net/YF_Li123/article/details/79951048

安装linux kafka:
https://www.cnblogs.com/unqiang/p/5166770.html
 

代码见: git@github.com:tuyf/kafka.git

代码中 主要包含以下几个样例:

 

第一个样例: Java访问Kafka实例: ProducerSample 和 ConsumerSample 。 

ConsumerSample 能正常跑起来,ProducerSample  在跑起来的时候,报了以下错误(未解决):

 

第二个样例: Spring 整合java, 最终的结果是 使用在 spring配置文件中 配置的

kafkaTemplate 实现类 来实现消息的发送, 见类SpringProducer 和 spring-kafka.xml

成功跑起来的。

第三个样例:基于Kafka 用户行为的数据采集

在package report中 的代码 。 该样例有自己的页面, 使用tomcat之类的容器跑起来之后,点击 会触发后台的采集动作。

 

第四个样例:日志收集,针对分布式环境下,各台机器上 都有自己的日志; 需要统一收集起来,进行精确的查询。

 

第五个样例:基于kafka的流量削峰:

是一个电商的秒杀场景: 使用tomcat把 样例跑起来之后,进入秒杀页面,发现中文乱码。

点击立即秒杀,后台报错, 一看是 redis没有配置的问题。

 

kafka的实践建议:

分区: 一般建议 partition的数量 要大于或等于消费者的数量, 这样可以实现最大并发。

复制:kafka使用了zk实现了去中心化的功能,复制 保证了kafka在部分节点不可用时,依然保持整体的可用性。

复制是针对分区的,一个分区有多个 副本,副本被保存在Broker上。 

副本有两种类型: leader副本(每个分区都会有)和follower副本。

为了保证一致性,所有生产者和消费者的请求 都会经过leader, 二follower不处理客户端的请求(职责是在leader宕机时,替代leader)。

 

消息发送:

1 立即发送

2 同步发送

3 异步发送

 

消息发送确认:

1 不等确认

2 只等leader确认

3 等leader和follower确认

 

消息重发(有次数限制)

 

批次发送

 

 

 

 

 

 

 

 

 

 

 

这篇关于linux 的各项安装以及kafka的使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/942175

相关文章

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm

Java Optional的使用技巧与最佳实践

《JavaOptional的使用技巧与最佳实践》在Java中,Optional是用于优雅处理null的容器类,其核心目标是显式提醒开发者处理空值场景,避免NullPointerExce... 目录一、Optional 的核心用途二、使用技巧与最佳实践三、常见误区与反模式四、替代方案与扩展五、总结在 Java

Linux内核参数配置与验证详细指南

《Linux内核参数配置与验证详细指南》在Linux系统运维和性能优化中,内核参数(sysctl)的配置至关重要,本文主要来聊聊如何配置与验证这些Linux内核参数,希望对大家有一定的帮助... 目录1. 引言2. 内核参数的作用3. 如何设置内核参数3.1 临时设置(重启失效)3.2 永久设置(重启仍生效

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

Qt中QUndoView控件的具体使用

《Qt中QUndoView控件的具体使用》QUndoView是Qt框架中用于可视化显示QUndoStack内容的控件,本文主要介绍了Qt中QUndoView控件的具体使用,具有一定的参考价值,感兴趣的... 目录引言一、QUndoView 的用途二、工作原理三、 如何与 QUnDOStack 配合使用四、自

C++使用printf语句实现进制转换的示例代码

《C++使用printf语句实现进制转换的示例代码》在C语言中,printf函数可以直接实现部分进制转换功能,通过格式说明符(formatspecifier)快速输出不同进制的数值,下面给大家分享C+... 目录一、printf 原生支持的进制转换1. 十进制、八进制、十六进制转换2. 显示进制前缀3. 指

如何在Mac上安装并配置JDK环境变量详细步骤

《如何在Mac上安装并配置JDK环境变量详细步骤》:本文主要介绍如何在Mac上安装并配置JDK环境变量详细步骤,包括下载JDK、安装JDK、配置环境变量、验证JDK配置以及可选地设置PowerSh... 目录步骤 1:下载JDK步骤 2:安装JDK步骤 3:配置环境变量1. 编辑~/.zshrc(对于zsh

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加

kali linux 无法登录root的问题及解决方法

《kalilinux无法登录root的问题及解决方法》:本文主要介绍kalilinux无法登录root的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,... 目录kali linux 无法登录root1、问题描述1.1、本地登录root1.2、ssh远程登录root2、

shell编程之函数与数组的使用详解

《shell编程之函数与数组的使用详解》:本文主要介绍shell编程之函数与数组的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录shell函数函数的用法俩个数求和系统资源监控并报警函数函数变量的作用范围函数的参数递归函数shell数组获取数组的长度读取某下的