kfk专题

1.8.9 大数据-Spark-StructuredStreaming流处理(socket , kfk)

环境准备1 启动nc传输消息安装见https://blog.csdn.net/tanxiang21/article/details/108760789 $ nc -lk 9999 演练 package com.spark.streaming.structuredimport org.apache.spark.sql.SparkSessionimport org.apache.spar

在k8s上搭建kfk-zk集群(2)

在k8s上搭建kfk-zk集群(2) 这篇接zk的部署方式,整体结构是一样的,包括StorageClass、PV、HeadlessService、StatefulSet,不同的是kfk本身的配置,k8s官方没有k8s的部署教程,我在网上找到一个在k8s上部署kfk的帖子,借用其kfk的模版。 StorageClass我们已经创建,直接使用local-class。 root@hw1:~/zk#

在k8s上搭建kfk-zk集群(1)

在k8s上搭建kfk-zk集群(1) kfk/zk属于有状态的应用,所以应当用StatefulSet来部署应用,但StatefulSet要比无状态的Deployment要复杂,主要表现在增加了: stable stroage,并且需要用StorageClass、PV有状态应用的网络问题,需要Headless Service,并且每个pod是有序编号的,其DNS就是name-1.headless