【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准

2023-11-02 22:10

本文主要是介绍【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


无规矩,不成方圆!数据标准(Data Standards)是保障数据的内外部使用和交换的一致性和准确性的规范性约束,作为数据治理的基石,是绕不开的一项工作,如此重要的活如何干,咱们一起聊聊。

先看看别人怎么搞得

当前国家层面高度重视数据资产建设,各行各业都在自上而下的推动建设数据标准,取得了很大的成效,我们首先要看看人家高手怎么制定的,推荐大家一个好用的网站,会迅速找到你想要参考的标准。全国标准信息公共服务平台 就是一个很好的资源网站,他提供国内所有的国家标准,还包括行业标准、地方标准、团体标准、企业标准、国际标准的检索,提供大部分国家标准的在线阅读。我们找些数据标准案例看看吧,在网站上搜索数据标准,找到的结果还真不少,那就选择合适的看看吧,可能一些地方标准不支持阅读,那就拿着题目在百度中一搜很容易找到。
在这里插入图片描述

通过阅读各类数据标准,我们会发现没有一个标准的制定标准,各类业务对象定义的粒度也不尽相同,比如在机场数据规范与交互技术指南中只包括数据项名称、数据项描述、数据项编码,像技术类型的数据都没有,如下表所示。

在这里插入图片描述

而《国土空间规划“一张图”实施监督信息系统数据标准》定义的粒度就比较细,包括字段名称、字段代码、字段类型等等。

在这里插入图片描述

说实话,数据标准定义的粒度取决于业务需求,粒度大了灵活些,满足需求即可。

数据标准实施基本流程

万事开头难,要定义数据标准,起码要知道哪些业务实体需要定义吧,我们已有很多建设的系统,数据定义不能完全推翻吧,国家和行业标准需要遵守吧…这些都是我们需要考虑的,所以基本的步骤如下:

  1. 找资料:把国家、行业等相关标准找来,找出参考数据。
  2. 业务调研:调研业务流程,找出业务实体。
  3. 系统调研:调研当前系统,识别出所有的数据对象。
  4. 建立映射:建立业务实体和数据对象的联系。
  5. 分数据域:这一步就是根据业务流程,把关联性较大的业务实体放到一起。
  6. 选粒度:对于每个业务实体,要定义到什么粒度,基础元数据选哪些。
  7. 定义基本规则:包括简称、缩写、日期格式等等。
  8. 定义实体属性:找出要定义的实体属性,这个自由度大,有些共性的就不要重复定义了。
  9. 定义数据:结合当前系统中的定义,参考国家和行业标准开始定义吧。

上面这些内容做完,基本上数据标准的核心工作也就完成了。那么一个数据对象包含哪些元数据内,行业标准《银行数据标准定义规范》给出了数据标准定义框架,大家在定义的时候适当裁剪:

在这里插入图片描述

参考数据很重要

数据标准定义参考数据的权威性很重要,毕竟弄得不伦不类就贻笑大方了,各行业通用的国家标准整理如下:

  • 经济类型分类代码 GB/T 12402-2000
  • 国民经济行业分类 GB/T 4754-2017
  • 学历代码 GB/T 4658-2006
  • 中华人民共和国行政区划代码(民政部)
  • 职业分类代码 GB/T 6565-2015
  • 政治面貌代码GB/T 4762
  • 性别代码GB/T2261.1
  • 个人身份有效证件名称代码GB/T 14946.2-2019
  • 党政职务类别代码GB/T 14946.2-2019
  • 取得专业技术职务途径代码GB/T 14946.2-2019
  • 婚姻状况代码GB/T2261.2
  • 中国各民族代码GB/T 3304-1991

拔高一下意义

就像我们盖房子打地基一样,做数据建模也好,做数据仓库也好,还是做数据质量,做数据安全也好,还是做原数据管理,那么数据标准都是其他领域的基础,它是数据治理的基础。

在这里插入图片描述

  • 数据标准是所有数据指令关键领域的基础
  • 数据标准为我们建立业务系统或者是操作性系统分析新系统提供数据之间的依据
  • 数据标准其实为企业数据质量管理提供了规则和约束,也要做数据质量结合,数据标准是给我提供相关的一些规则
  • 数据标准对数据安全的分类对数据的分级也提供了相关的参考和依据
  • 数据标准跟数据模型的关系,它是指导企业来构建数据模型,同时在建模的过程中又可以为数据标准的制定提供相应的参考

执行才是王道

无规矩,不成方圆,有了规矩,不去执行等于零。所以定数据标准不难,难在定了数据标准去推行。现实情况是标准制定了就是在那放着,没有发挥应用的价值。所以,还应该有相应的制度、考核机制去推行啊。最重要的是领导重视!

参考文章

  1. 如何全面而深刻的理解数据标准?(理论+案例)
  2. 银行数据标准定义规范.pdf
  3. 数据标准管理实践白皮书.pdf
  4. 城市运行管理服务平台数据标准-住建部.pdf
  5. 一文详解数据标准管理!
  6. 机场数据规范与交互技术指南.pdf

这篇关于【数据治理-03】无规矩不成方圆,聊聊如何建立数据标准的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/333633

相关文章

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档

在Pandas中进行数据重命名的方法示例

《在Pandas中进行数据重命名的方法示例》Pandas作为Python中最流行的数据处理库,提供了强大的数据操作功能,其中数据重命名是常见且基础的操作之一,本文将通过简洁明了的讲解和丰富的代码示例,... 目录一、引言二、Pandas rename方法简介三、列名重命名3.1 使用字典进行列名重命名3.编

Python 标准库time时间的访问和转换问题小结

《Python标准库time时间的访问和转换问题小结》time模块为Python提供了处理时间和日期的多种功能,适用于多种与时间相关的场景,包括获取当前时间、格式化时间、暂停程序执行、计算程序运行时... 目录模块介绍使用场景主要类主要函数 - time()- sleep()- localtime()- g

Python使用Pandas库将Excel数据叠加生成新DataFrame的操作指南

《Python使用Pandas库将Excel数据叠加生成新DataFrame的操作指南》在日常数据处理工作中,我们经常需要将不同Excel文档中的数据整合到一个新的DataFrame中,以便进行进一步... 目录一、准备工作二、读取Excel文件三、数据叠加四、处理重复数据(可选)五、保存新DataFram

使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)

《使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)》在现代软件开发中,处理JSON数据是一项非常常见的任务,无论是从API接口获取数据,还是将数据存储为JSON格式,解析... 目录1. 背景介绍1.1 jsON简介1.2 实际案例2. 准备工作2.1 环境搭建2.1.1 添加