Pulsar Schema使用原理介绍

2024-03-09 19:04

本文主要是介绍Pulsar Schema使用原理介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、引言

关于Pulsar Schema,咱们要想想以下几个问题

  • Pulsar 中的 Schema 是什么?
  • Pulsar Schema Registry的作用是什么?
  • 怎么使用?
  • 原理是什么?

二、Schema 是什么

Schema是定义结构化数据和二进制字节数组之间转换的逻辑,Pulsar的消息是以非结构化的二进制数组进行存储的,Schema只有在读写时才会被应用于数据上,因此生产者和消费者需要对Schema达成一致。Pulsar通过Schema Registry作为一个中央仓库存储Schema信息,它可以协调生产者和消费者保证相同的Schema,它可以存储多个版本的Schema,支持不同的兼容性配置以及根据兼容性的要求进行Schema的演进。

Pulsar将Schema存储在Bookie上,Schema的写入、读取都通过Broker和Bookie交互,这个逻辑跟消息的读写操作是一只的,因此不需要额外考虑Schema的可用性和可靠性问题,因此整体看Pulsar实现Schema Registry的方式非常优雅

类型安全在所有数据应用中都非常重要,生产者和消费者需要某种机制协调数据类型来避免各种潜在的问题,比如序列化和反序列化方式不一致。数据安全通常有两种处理方式client-side和service-side,本质上就是客户端用时决定和服务端提前保证

client-side:将一切交给用户,客户端自行负责消息的序列化和反序列化并且保证生产消费时消息的类型安全,这种方式的最大问题就是类型是通过约定的,一旦生产者写入非约定的数据,下游的消费者将没有办法解析数据

server-side:数据安全由服务端保证,生产者和消费者都需要跟服务端提前确定数据类型。这种方式真正意义上保证了数据的类型安全,避免了生产者写入非法数据的问题

两种差异如下图
在这里插入图片描述

三、怎么使用

1. client-side

生产者代码逻辑

    //schema在第一次写入的时候就已经决定好了,后续用其他的schema消息类型会写入失败public static void customSchemaProducer()  {try {String serverUrl = "http://localhost:8080";PulsarClient pulsarClient =PulsarClient.builder().serviceUrl(serverUrl).build();Producer<byte[]> producer = pulsarClient.newProducer().topic("persistent://sherlock-api-tenant-1/sherlock-namespace-1/topic_8").create();User user = new User();user.setName("老六");user.setAge(21);user.setAddress("海南");//由用户自行做序列化逻辑producer.send(JSON.toJSONString(user).getBytes());producer.close();pulsarClient.close();} catch (Exception e) {}}

消费者逻辑代码

  public static void customSchemaConsumer() {try {String serverUrl = "http://localhost:8080";PulsarClient pulsarClient =PulsarClient.builder().serviceUrl(serverUrl).build();Consumer<byte[]> consumer = pulsarClient.newConsumer().topic("persistent://sherlock-api-tenant-1/sherlock-namespace-1/topic_8").subscriptionName("sub_03").subscribe();while(true) {Message<byte[]> message = consumer.receive();//由用户自行做序列化逻辑byte[] user = message.getValue();System.out.println("消息数据为:"+JSON.parseObject(user, User.class).toString());consumer.acknowledge(message);//consumer.negativeAcknowledge(message);}} catch (Exception e) {}}

执行效果如下

消息数据为:User{name='老六', age=21, address='海南'}

2. server-side

生产者代码逻辑

   //schema在第一次写入的时候就已经决定好了,后续用其他的schema消息类型会写入失败public static void customSchemaProducer()  {try {String serverUrl = "http://localhost:8080";PulsarClient pulsarClient =PulsarClient.builder().serviceUrl(serverUrl).build();//由Pulsar做序列化逻辑Producer<User> producer = pulsarClient.newProducer(AvroSchema.of(User.class)).topic("persistent://sherlock-api-tenant-1/sherlock-namespace-1/topic_7").create();User user = new User();user.setName("王武");user.setAge(36);user.setAddress("海南");producer.send(user);producer.close();pulsarClient.close();} catch (Exception e) {}}

消费者逻辑代码

   public static void customSchemaConsumer() {try {String serverUrl = "http://localhost:8080";PulsarClient pulsarClient =PulsarClient.builder().serviceUrl(serverUrl).build();//由Pulsar做序列化逻辑Consumer<User> consumer = pulsarClient.newConsumer(AvroSchema.of(User.class)).topic("persistent://sherlock-api-tenant-1/sherlock-namespace-1/topic_7").subscriptionName("sub_03").subscribe();while(true) {Message<User> message = consumer.receive();User user = message.getValue();System.out.println("消息数据为:"+user);consumer.acknowledge(message);//consumer.negativeAcknowledge(message);}} catch (Exception e) {}}

执行效果如下

消息数据为:User{name='王武', age=36, address='海南'}

3. 小结

分别查看两个Topic的Schema信息如下图

通过查询client-side的Schema信息,会发现Pulsar服务端其实并没有进行存储,相当于不指定Schema的话Pulsar默认都用byte数组
在这里插入图片描述

再来看看server-side的Schema信息,可以看到打印如下,namespace是pojo类的包路径,name是pojo类名,然后fields就是pojo类的各个字段的属性(像不像mysql里面的表结构,不少场景Topic就是当作表来用的),然后type是AVRO是由于咱们是用的avro进行序列化的。
在这里插入图片描述

除了在读写数据时指定Schema,Pulsar还支持通过admin管理流提前指定好,具体指令在这里。如果是用Pulsar来作为实时数仓场景,强烈建议提前通过admin管理流进行指定好,配置isSchemaValidationEnforced可以考虑开启。如果条件允许可以考虑做成服务化,例如通过Web页面提供新建Schema、修改Schema操作并接入公司内部的审批流等

pulsar-admin schemas upload --filename
POST /admin/v2/schemas/:tenant/:namespace/:topic/schema
pulsar-admin schemas get sherlock-api-tenant-1/sherlock-namespace-1/partition_partition_topic_3

四、原理解析

Schema相关的流程咱们需要关注以下几个

  • 注册Schema流程
    • 生产者端侧
    • 消费者端侧
    • 指定服务器
  • Schema生效流程
  • 更新Schema流程

1. 注册Schema流程

生产者端侧
在这里插入图片描述

  1. 生产者实例会在内部构造schema实例,生产者会通过它对数据进行转换
  2. 生产者会请求连接Broker,并传递schema信息 SchemaInfo
  3. Broker会在schema registry中查找这个schema是否被注册,如果已经注册了就将注册的schema版本返回给生产者
  4. Broker检查是否支持自动更新schema,如果配置不允许自动更新,则这个schema不能被注册并且拒绝生产者
  5. Broker进行schema兼容性检查,如果通过检查则将此schema存储在schema registry并返回版本给生产者,生产者所有消息以这个schema格式进行发送;若是检查没通过则拒绝生产者

消费者端
在这里插入图片描述

  1. 消费者实例会在内部构造schema实例
  2. 消费者请求连接Broker,并传递schema信息 SchemaInfo
  3. Broker检查这个Topic是否已经在使用,有的话跳到第五步,否则跳到第四步
  4. Broker检查是否支持自动更新schema,如果支持则注册这个schema,否则拒绝客户端
  5. Broker进行schema兼容性检查,通过则连接否则拒绝客户端

五、参考文献

  1. Pulsar:Schema Registry介绍
  2. 官方文档
  3. 深度解读 Pulsar Schema

这篇关于Pulsar Schema使用原理介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/791658

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

zookeeper端口说明及介绍

《zookeeper端口说明及介绍》:本文主要介绍zookeeper端口说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、zookeeper有三个端口(可以修改)aVNMqvZ二、3个端口的作用三、部署时注意总China编程结一、zookeeper有三个端口(可以

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异(双破折号误写)导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1:原因2:操作3:报错5:解决问题:确认卷组名称​6:再次操作7:验证扩展是否成功8:问题已解

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker