Avro Schema格式

2024-08-28 02:38
文章标签 格式 schema avro

本文主要是介绍Avro Schema格式,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Avro Schema格式

Avro是一个数据序列化系统,主要用于支持大批量数据交换的应用。

特点:

  • 支持二进制序列化方式,可以便捷、快速的处理大量数据;
  • 动态语言有好,Avro提供的机制使动态语言可以方便的处理Avro数据

1.Avro Schema结构

{"type":"record","name":"aaa","namespace":"bbb","fields":[{"name":"ccc","type":"int","doc":"ccc","default":0},{"name":"ddd","type":"string","doc":"ddd","default":""}]
}
  • “type”: “record” 必须栏位
  • “name”: “aaa” 必须栏位,记录名
  • “namespace”: “bbb” 包名
  • “fields”: [] 必须栏位,列举所有属性,是json数组
    • “name”:“ccc” 必须栏位,属性名
    • “type”:“int” 必须栏位,属性类型
    • “doc”:“ccc” 属性文档
    • “default”:0 属性默认值,需要对应属性类型

2.简单数据类型

类型说明
null没有值
boolean布尔值
int32位有符号整数
long64位有符号整数
float单精度(32位)的IEEE 754浮点数
double双精度(64位)的IEEE 754浮点数
bytes8位无符号字节序列
string字符串

3.复杂数据类型

1).Array

{"type":"record","name":"aaa","namespace":"bbb","fields":[{"name":"ccc","type":{"type": "array","items": "string","default": []}}]
}

“items”: “string” array中元素的数据类型

2).Record

{"name":"aaa","default":null,"type":["null",{"type":"array","default":[],"items":{"name":"bbb","type":"record","fields":[{"name":"ccc","type":"string","doc":"ccc","default":""},{"name":"ddd","type":"string","doc":"ddd","default":""}]}}]
}

示例为array和record嵌套使用,适用于一个对象的元素包含其他对象的场景

3).Enum

{"type":"record","name":"aaa","namespace":"bbb","fields":[{"name":"ccc","type":"enum","symbols":["0","1","2"]}]
}

symbols:字符串数组,所有的枚举值(必填),不允许重复数据

4).Map

{"type":"record","name":"aaa","namespace":"bbb","fields":[{"name":"ccc","type":"map","values":"long"}]
}

map的key必须是string,示例为一个key为string,value为long的map

5).Union

组合类型,表示各种类型的组合,使用数组进行组合。比如[“null”, “string”]表示类型可以为null或者string。

Unions不能包含多个相同类型的Schema,除非是命名的record类型、命名的fixed类型和命名的enum类型。比如,如果unions中包含两个array类型,或者包含两个map类型都不允许;但是两个具有不同name的相同类型却可以。

6).Fixed

{"type":"record","name":"aaa","namespace":"bbb","fields":[{"name":"ccc","type":"fixed","size":16}]
}

size指声明的fixed类型数据为16字节

这篇关于Avro Schema格式的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1113489

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

如何自定义Nginx JSON日志格式配置

《如何自定义NginxJSON日志格式配置》Nginx作为最流行的Web服务器之一,其灵活的日志配置能力允许我们根据需求定制日志格式,本文将详细介绍如何配置Nginx以JSON格式记录访问日志,这种... 目录前言为什么选择jsON格式日志?配置步骤详解1. 安装Nginx服务2. 自定义JSON日志格式各

python dict转换成json格式的实现

《pythondict转换成json格式的实现》本文主要介绍了pythondict转换成json格式的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下... 一开始你变成字典格式data = [ { 'a' : 1, 'b' : 2, 'c编程' : 3,

Python中Windows和macOS文件路径格式不一致的解决方法

《Python中Windows和macOS文件路径格式不一致的解决方法》在Python中,Windows和macOS的文件路径字符串格式不一致主要体现在路径分隔符上,这种差异可能导致跨平台代码在处理文... 目录方法 1:使用 os.path 模块方法 2:使用 pathlib 模块(推荐)方法 3:统一使

Java中使用注解校验手机号格式的详细指南

《Java中使用注解校验手机号格式的详细指南》在现代的Web应用开发中,数据校验是一个非常重要的环节,本文将详细介绍如何在Java中使用注解对手机号格式进行校验,感兴趣的小伙伴可以了解下... 目录1. 引言2. 数据校验的重要性3. Java中的数据校验框架4. 使用注解校验手机号格式4.1 @NotBl

Python批量调整Word文档中的字体、段落间距及格式

《Python批量调整Word文档中的字体、段落间距及格式》这篇文章主要为大家详细介绍了如何使用Python的docx库来批量处理Word文档,包括设置首行缩进、字体、字号、行间距、段落对齐方式等,需... 目录关键代码一级标题设置  正文设置完整代码运行结果最近关于批处理格式的问题我查了很多资料,但是都没

基于Python开发PDF转Doc格式小程序

《基于Python开发PDF转Doc格式小程序》这篇文章主要为大家详细介绍了如何基于Python开发PDF转Doc格式小程序,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 用python实现PDF转Doc格式小程序以下是一个使用Python实现PDF转DOC格式的GUI程序,采用T

Python如何实现读取csv文件时忽略文件的编码格式

《Python如何实现读取csv文件时忽略文件的编码格式》我们再日常读取csv文件的时候经常会发现csv文件的格式有多种,所以这篇文章为大家介绍了Python如何实现读取csv文件时忽略文件的编码格式... 目录1、背景介绍2、库的安装3、核心代码4、完整代码1、背景介绍我们再日常读取csv文件的时候经常

使用C++将处理后的信号保存为PNG和TIFF格式

《使用C++将处理后的信号保存为PNG和TIFF格式》在信号处理领域,我们常常需要将处理结果以图像的形式保存下来,方便后续分析和展示,C++提供了多种库来处理图像数据,本文将介绍如何使用stb_ima... 目录1. PNG格式保存使用stb_imagephp_write库1.1 安装和包含库1.2 代码解

IDEA如何将String类型转json格式

《IDEA如何将String类型转json格式》在Java中,字符串字面量中的转义字符会被自动转换,但通过网络获取的字符串可能不会自动转换,为了解决IDEA无法识别JSON字符串的问题,可以在本地对字... 目录问题描述问题原因解决方案总结问题描述最近做项目需要使用Ai生成json,可生成String类型