SpringBoot集成Kafka之SASL_SSL

2024-04-15 14:20
文章标签 java springboot spring 集成 ssl kafka sasl

本文主要是介绍SpringBoot集成Kafka之SASL_SSL，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

系列文章目录

文章目录

  • 系列文章目录
  • 前言

前言

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通用，看懂了就去分享给你的码吧。
在这里插入图片描述

Kafka 是一个由 LinkedIn 开发的分布式消息系统，它于2011年年初开源，现在由著名的 Apache 基金会维护与开发。 Kafka 使用 Scala 实现，被用作 LinkedIn 的活动流和运营数据处理的管道，现在也被诸多互联网企业广泛地用作数据流管道和消息系统， Kafka 是基于消息发布﹣订阅模式实现的消息系统。
在这里插入图片描述
Win安装：Kafka安装Windows版 - Java小强技术博客 (javacui.com)

SpringBoot集成：SpringBoot集成Kafka - Java小强技术博客 (javacui.com)

由于公司使用时，必须要求Prodcuer&Consumer must connect to Kafka via SASL_SSL，因为进行了相关集成的编码，进行记录。

首先之前Spring的配置文件我们就不需要了，为了测试方便先编码到代码中，手续可以手动指定到配置文件中。

这里需要IO包，来操作JKS文件，看其是否存在，因此POM需要引入

<dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.11.0</version>
</dependency>

然后消息监听类，需要改造下，首先指定一个ID，然后指定为手动启动

package com.example.springboot.listener;import com.alibaba.fastjson.JSON;
import com.example.springboot.model.Blog;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Component;@Component
public class KafkaMessListener {private static final String messTopic = "test";@KafkaListener(id="KafkaMessListener", topics = messTopic, groupId = "javagroup", autoStartup = "false")public void messListener(Blog blog) {System.out.println("消费端 收到消息：" + JSON.toJSONString(blog));}
}

编写消息提供者Producer配置类

package com.example.springboot.config;import lombok.extern.slf4j.Slf4j;
import org.apache.commons.io.FileUtils;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.config.SaslConfigs;
import org.apache.kafka.common.config.SslConfigs;
import org.springframework.boot.system.ApplicationHome;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.core.DefaultKafkaProducerFactory;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.core.ProducerFactory;import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.util.HashMap;
import java.util.Map;
import java.util.Objects;/*** Kafka服务端配置*/
@Slf4j
@Configuration
public class KafkaProducerConfig {@Beanpublic KafkaTemplate<String, String> kafkaTemplate() {return new KafkaTemplate<>(producerFactory());}/*** the producer factory config*/@Beanpublic ProducerFactory<String, String> producerFactory() {Map<String, Object> props = new HashMap();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9002");props.put(ProducerConfig.ACKS_CONFIG, "all");props.put(ProducerConfig.RETRIES_CONFIG, 3);props.put(ProducerConfig.BATCH_SIZE_CONFIG, 106384);props.put(ProducerConfig.LINGER_MS_CONFIG, 1);props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.springframework.kafka.support.serializer.JsonSerializer");props.put("security.protocol", "SASL_SSL");props.put(SaslConfigs.SASL_MECHANISM, "SCRAM-SHA-512");//打包成jar后,无法找到文件的解决方法(复制jar包里的文件,到文件目录里)ApplicationHome applicationHome = new ApplicationHome(KafkaProducerConfig.class);//项目打包成jar包所在的根路径String rootPath = applicationHome.getSource().getParentFile().toString();String configFilePath = rootPath + "\\client_truststore.jks";log.info("证书文件地址:" + configFilePath);File configFile = new File(configFilePath);if (!configFile.exists()) {try {//获取类路径下的指定文件流  (项目目录下的:  /resource/client_truststore.jks)InputStream in = this.getClass().getClassLoader().getResourceAsStream("client_truststore.jks");FileUtils.copyInputStreamToFile(Objects.requireNonNull(in, "client_truststore.jks文件找不到"), configFile);} catch (IOException e) {throw new IllegalArgumentException("client_truststore.jks文件找不到->" + e.getMessage());}}props.put(SslConfigs.SSL_TRUSTSTORE_LOCATION_CONFIG, configFilePath);props.put(SslConfigs.SSL_TRUSTSTORE_PASSWORD_CONFIG, "Abc123");//注意passwod结尾的分号一定不要漏props.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username='YouName' password='YouPass';");return new DefaultKafkaProducerFactory<String, String>(props);}}

这了之前在Spring中配置的属性，我们都编码在代码里面了，特别注意的是对于JKS文件的目录指定，因为SpringBoot程序最后都是打成Jar包的，因此需要上述方式来指定JKS文件位置。

然后我们编码消息监听者的配置类，因为我们已经指定了监听程序手动启动，因此配置类中需要编码手工开启某监听的启动。

package com.example.springboot.config;import com.example.springboot.listener.KafkaMessListener;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.io.FileUtils;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.config.SaslConfigs;
import org.apache.kafka.common.config.SslConfigs;
import org.springframework.boot.ApplicationRunner;
import org.springframework.boot.system.ApplicationHome;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.config.KafkaListenerEndpointRegistry;
import org.springframework.kafka.core.ConsumerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.listener.MessageListenerContainer;
import org.springframework.kafka.support.serializer.JsonDeserializer;import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.util.HashMap;
import java.util.Map;
import java.util.Objects;/*** Kafka消费端配置*/
@Configuration
@EnableKafka
@Slf4j
public class KafkaConsumerConfig {@Beanpublic ApplicationRunner runner(KafkaListenerEndpointRegistry registry) {return args -> {MessageListenerContainer kafkaMessListener = registry.getListenerContainer("KafkaMessListener");kafkaMessListener.start();};}/*** 配置监听，将消费工厂信息配置进去*/@Beanpublic ConcurrentKafkaListenerContainerFactory<Integer, String> kafkaListenerContainerFactory() {ConcurrentKafkaListenerContainerFactory<Integer, String> factory = new ConcurrentKafkaListenerContainerFactory<Integer, String>();factory.setConsumerFactory(consumerFactory());return factory;}/*** 消费 消费工厂*/@Beanpublic ConsumerFactory<Integer, String> consumerFactory() {return new DefaultKafkaConsumerFactory<Integer, String>(consumerConfigs());}/*** 消费配置*/public Map<String, Object> consumerConfigs() {Map<String, Object> props = new HashMap();props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9002");props.put(ConsumerConfig.GROUP_ID_CONFIG, "YouGroup_ID");props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");// earliest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费// latest:当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据// none:topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "30000");props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.springframework.kafka.support.serializer.JsonDeserializer");props.put(JsonDeserializer.TRUSTED_PACKAGES, "*"); // 信任所有包可以序列化props.put("security.protocol", "SASL_SSL");props.put(SaslConfigs.SASL_MECHANISM, "SCRAM-SHA-512");//打包成jar后,无法找到文件的解决方法(复制jar包里的文件,到文件目录里)ApplicationHome applicationHome = new ApplicationHome(KafkaConsumerConfig.class);//项目打包成jar包所在的根路径String rootPath = applicationHome.getSource().getParentFile().toString();String configFilePath = rootPath + "\\client_truststore.jks";log.info("证书文件地址:" + configFilePath);File configFile = new File(configFilePath);if (!configFile.exists()) {try {//获取类路径下的指定文件流  (项目目录下的:  /resource/client_truststore.jks)InputStream in = this.getClass().getClassLoader().getResourceAsStream("client_truststore.jks");FileUtils.copyInputStreamToFile(Objects.requireNonNull(in, "client_truststore.jks文件找不到"), configFile);} catch (IOException e) {throw new IllegalArgumentException("client_truststore.jks文件找不到->" + e.getMessage());}}props.put(SslConfigs.SSL_TRUSTSTORE_LOCATION_CONFIG, configFilePath);props.put(SslConfigs.SSL_TRUSTSTORE_PASSWORD_CONFIG, "Abc123");//注意passwod结尾的分号一定不要漏props.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username='YouName' password='YouPass';");return props;}
}

如上可以手工启动消息开始处理消息。

这篇关于SpringBoot集成Kafka之SASL_SSL的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/906059。

相关文章

JVM 的类初始化机制

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时，有没有考虑过 JVM 是如何把静态的字节码（byte code）转化为运行时对象的呢，这个问题看似简单，但清楚的同学相信也不会太多，这篇文章首先介绍 JVM 类初始化的机制，然后给出几个易出错的实例来分析，帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段，分别是：loading 、Linking、initialization
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
Spring Security--Architecture Overview

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类，它们之间的依赖，构建起了整个框架。想要理解整个架构，最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文（security context）的信息。当前操作的用户是谁，该用户是否已经被认证，他拥有哪些角色权限…这些都被保
阅读更多...
Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
Java进阶13讲__第12讲_1/2

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
搭建Kafka+zookeeper集群调度

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2