【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准

2023-11-02 22:10

本文主要是介绍【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


无规矩,不成方圆!数据标准(Data Standards)是保障数据的内外部使用和交换的一致性和准确性的规范性约束,作为数据治理的基石,是绕不开的一项工作,如此重要的活如何干,咱们一起聊聊。

先看看别人怎么搞得

当前国家层面高度重视数据资产建设,各行各业都在自上而下的推动建设数据标准,取得了很大的成效,我们首先要看看人家高手怎么制定的,推荐大家一个好用的网站,会迅速找到你想要参考的标准。全国标准信息公共服务平台 就是一个很好的资源网站,他提供国内所有的国家标准,还包括行业标准、地方标准、团体标准、企业标准、国际标准的检索,提供大部分国家标准的在线阅读。我们找些数据标准案例看看吧,在网站上搜索数据标准,找到的结果还真不少,那就选择合适的看看吧,可能一些地方标准不支持阅读,那就拿着题目在百度中一搜很容易找到。
在这里插入图片描述

通过阅读各类数据标准,我们会发现没有一个标准的制定标准,各类业务对象定义的粒度也不尽相同,比如在机场数据规范与交互技术指南中只包括数据项名称、数据项描述、数据项编码,像技术类型的数据都没有,如下表所示。

在这里插入图片描述

而《国土空间规划“一张图”实施监督信息系统数据标准》定义的粒度就比较细,包括字段名称、字段代码、字段类型等等。

在这里插入图片描述

说实话,数据标准定义的粒度取决于业务需求,粒度大了灵活些,满足需求即可。

数据标准实施基本流程

万事开头难,要定义数据标准,起码要知道哪些业务实体需要定义吧,我们已有很多建设的系统,数据定义不能完全推翻吧,国家和行业标准需要遵守吧…这些都是我们需要考虑的,所以基本的步骤如下:

  1. 找资料:把国家、行业等相关标准找来,找出参考数据。
  2. 业务调研:调研业务流程,找出业务实体。
  3. 系统调研:调研当前系统,识别出所有的数据对象。
  4. 建立映射:建立业务实体和数据对象的联系。
  5. 分数据域:这一步就是根据业务流程,把关联性较大的业务实体放到一起。
  6. 选粒度:对于每个业务实体,要定义到什么粒度,基础元数据选哪些。
  7. 定义基本规则:包括简称、缩写、日期格式等等。
  8. 定义实体属性:找出要定义的实体属性,这个自由度大,有些共性的就不要重复定义了。
  9. 定义数据:结合当前系统中的定义,参考国家和行业标准开始定义吧。

上面这些内容做完,基本上数据标准的核心工作也就完成了。那么一个数据对象包含哪些元数据内,行业标准《银行数据标准定义规范》给出了数据标准定义框架,大家在定义的时候适当裁剪:

在这里插入图片描述

参考数据很重要

数据标准定义参考数据的权威性很重要,毕竟弄得不伦不类就贻笑大方了,各行业通用的国家标准整理如下:

  • 经济类型分类代码 GB/T 12402-2000
  • 国民经济行业分类 GB/T 4754-2017
  • 学历代码 GB/T 4658-2006
  • 中华人民共和国行政区划代码(民政部)
  • 职业分类代码 GB/T 6565-2015
  • 政治面貌代码GB/T 4762
  • 性别代码GB/T2261.1
  • 个人身份有效证件名称代码GB/T 14946.2-2019
  • 党政职务类别代码GB/T 14946.2-2019
  • 取得专业技术职务途径代码GB/T 14946.2-2019
  • 婚姻状况代码GB/T2261.2
  • 中国各民族代码GB/T 3304-1991

拔高一下意义

就像我们盖房子打地基一样,做数据建模也好,做数据仓库也好,还是做数据质量,做数据安全也好,还是做原数据管理,那么数据标准都是其他领域的基础,它是数据治理的基础。

在这里插入图片描述

  • 数据标准是所有数据指令关键领域的基础
  • 数据标准为我们建立业务系统或者是操作性系统分析新系统提供数据之间的依据
  • 数据标准其实为企业数据质量管理提供了规则和约束,也要做数据质量结合,数据标准是给我提供相关的一些规则
  • 数据标准对数据安全的分类对数据的分级也提供了相关的参考和依据
  • 数据标准跟数据模型的关系,它是指导企业来构建数据模型,同时在建模的过程中又可以为数据标准的制定提供相应的参考

执行才是王道

无规矩,不成方圆,有了规矩,不去执行等于零。所以定数据标准不难,难在定了数据标准去推行。现实情况是标准制定了就是在那放着,没有发挥应用的价值。所以,还应该有相应的制度、考核机制去推行啊。最重要的是领导重视!

参考文章

  1. 如何全面而深刻的理解数据标准?(理论+案例)
  2. 银行数据标准定义规范.pdf
  3. 数据标准管理实践白皮书.pdf
  4. 城市运行管理服务平台数据标准-住建部.pdf
  5. 一文详解数据标准管理!
  6. 机场数据规范与交互技术指南.pdf

这篇关于【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/333633

相关文章

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

SpringBoot整合jasypt实现重要数据加密

《SpringBoot整合jasypt实现重要数据加密》Jasypt是一个专注于简化Java加密操作的开源工具,:本文主要介绍详细介绍了如何使用jasypt实现重要数据加密,感兴趣的小伙伴可... 目录jasypt简介 jasypt的优点SpringBoot使用jasypt创建mapper接口配置文件加密

使用Python高效获取网络数据的操作指南

《使用Python高效获取网络数据的操作指南》网络爬虫是一种自动化程序,用于访问和提取网站上的数据,Python是进行网络爬虫开发的理想语言,拥有丰富的库和工具,使得编写和维护爬虫变得简单高效,本文将... 目录网络爬虫的基本概念常用库介绍安装库Requests和BeautifulSoup爬虫开发发送请求解

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.