Kafka使用ambari安装遇到的问题

2024-06-08 21:58

本文主要是介绍Kafka使用ambari安装遇到的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

错误1 : kafka.common.InconsistentBrokerIdException: Configured brokerId 1 doesn’t match stored brokerId 0 in meta.properties

[2016-06-29 15:05:29,127] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentBrokerIdException: Configured brokerId 1 doesn't match stored brokerId 0 in meta.propertiesat kafka.server.KafkaServer.getBrokerId(KafkaServer.scala:630)at kafka.server.KafkaServer.startup(KafkaServer.scala:175)at io.confluent.support.metrics.SupportedServerStartable.startup(SupportedServerStartable.java:99)at io.confluent.support.metrics.SupportedKafka.main(SupportedKafka.java:45)

解决方案:
$KAFKA_HOME/conf/server.properties文件里的属性值log.dirs=/storage/kafka-logs,进入/storage/kafka-logs(具体看log.dirs后面的值)目录,修改meta.properties文件

源文件

version=0
broker.id=0

修改后(修改broker.id为当前节点的broker.id)

version=0
broker.id=1

错误2 : ambari安装Kafka后其他节点使用broker的IP无法访问

ambari安装Kafka后,管理页面看到的配置是
这里写图片描述

在broker节点上看到的配置是【管理页面配置的localhost会自动映射为当前节点的主机名】
这里写图片描述

然后用JAVA代码生产、消费Kafka,报错

package cn.gcks.kafka_test;import java.util.Properties;import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
import kafka.serializer.StringEncoder;public class Test123 {public static void main(String[] args) {Properties properties = new Properties();properties.put("zookeeper.connect", "111.111.111.111:2181,111.111.111.112:2181,111.111.111.113:2181");properties.put("serializer.class", StringEncoder.class.getName());properties.put("metadata.broker.list", "111.111.111.111:6667,111.111.111.112:6667,111.111.111.113:6667");Producer<Integer, String> producer = new Producer<Integer, String>(new ProducerConfig(properties));for (int i = 0; i < 100; i++) {producer.send(new KeyedMessage<Integer, String>("test123", "dddddd: " + i++));}}
}

具体原因:
这里写图片描述

解决方案:分别修改每个broker的$KAFKA_HOME/conf/server.properties文件,属性这里写图片描述,主机名改成IP

这篇关于Kafka使用ambari安装遇到的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1043416

相关文章

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景

使用Python快速实现链接转word文档

《使用Python快速实现链接转word文档》这篇文章主要为大家详细介绍了如何使用Python快速实现链接转word文档功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 演示代码展示from newspaper import Articlefrom docx import

oracle DBMS_SQL.PARSE的使用方法和示例

《oracleDBMS_SQL.PARSE的使用方法和示例》DBMS_SQL是Oracle数据库中的一个强大包,用于动态构建和执行SQL语句,DBMS_SQL.PARSE过程解析SQL语句或PL/S... 目录语法示例注意事项DBMS_SQL 是 oracle 数据库中的一个强大包,它允许动态地构建和执行

Python Jupyter Notebook导包报错问题及解决

《PythonJupyterNotebook导包报错问题及解决》在conda环境中安装包后,JupyterNotebook导入时出现ImportError,可能是由于包版本不对应或版本太高,解决方... 目录问题解决方法重新安装Jupyter NoteBook 更改Kernel总结问题在conda上安装了

pip install jupyterlab失败的原因问题及探索

《pipinstalljupyterlab失败的原因问题及探索》在学习Yolo模型时,尝试安装JupyterLab但遇到错误,错误提示缺少Rust和Cargo编译环境,因为pywinpty包需要它... 目录背景问题解决方案总结背景最近在学习Yolo模型,然后其中要下载jupyter(有点LSVmu像一个

解决jupyterLab打开后出现Config option `template_path`not recognized by `ExporterCollapsibleHeadings`问题

《解决jupyterLab打开后出现Configoption`template_path`notrecognizedby`ExporterCollapsibleHeadings`问题》在Ju... 目录jupyterLab打开后出现“templandroidate_path”相关问题这是 tensorflo

SpringBoot中使用 ThreadLocal 进行多线程上下文管理及注意事项小结

《SpringBoot中使用ThreadLocal进行多线程上下文管理及注意事项小结》本文详细介绍了ThreadLocal的原理、使用场景和示例代码,并在SpringBoot中使用ThreadLo... 目录前言技术积累1.什么是 ThreadLocal2. ThreadLocal 的原理2.1 线程隔离2

如何解决Pycharm编辑内容时有光标的问题

《如何解决Pycharm编辑内容时有光标的问题》文章介绍了如何在PyCharm中配置VimEmulator插件,包括检查插件是否已安装、下载插件以及安装IdeaVim插件的步骤... 目录Pycharm编辑内容时有光标1.如果Vim Emulator前面有对勾2.www.chinasem.cn如果tools工

在MySQL执行UPDATE语句时遇到的错误1175的解决方案

《在MySQL执行UPDATE语句时遇到的错误1175的解决方案》MySQL安全更新模式(SafeUpdateMode)限制了UPDATE和DELETE操作,要求使用WHERE子句时必须基于主键或索引... mysql 中遇到的 Error Code: 1175 是由于启用了 安全更新模式(Safe Upd

Python安装时常见报错以及解决方案

《Python安装时常见报错以及解决方案》:本文主要介绍在安装Python、配置环境变量、使用pip以及运行Python脚本时常见的错误及其解决方案,文中介绍的非常详细,需要的朋友可以参考下... 目录一、安装 python 时常见报错及解决方案(一)安装包下载失败(二)权限不足二、配置环境变量时常见报错及