中电金信数据治理专家武威:企业数据资产盘点及应用

2023-10-20 19:59

本文主要是介绍中电金信数据治理专家武威:企业数据资产盘点及应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本期嘉宾

武威

数据治理及数据资产管理领域专家

  • 毕业于北京邮电大学,管理科学与工程硕士

  • 曾职于赛迪顾问、Frost & Sullivan、石竹软件

  • 拥有10年数据治理落地实践经验,18年相关规划与业务咨询经验

  • 深度了解银行、保险、证券、房地产、运营商等行业数据治理和数据资产管理

数字经济时代,数据已成为主要生产要素,数据将在资本之后成为金融业又一核心资产,加强数据资产管理是金融业实现数字化转型的重要支撑。通过本视频,您将了解常见数据资产类型、盘点方式和难点及数据资产应用场景。

1、常见数据资产类型及盘点方式

类型1:元数据

盘点方式:基于系统元数据或数据字典,按照模板补充缺失属性。

类型2:指标

盘点方式:基于指标需求文档和开发文档,按照模板补充缺失属性。

类型3:质量规则

盘点方式:已有规则可以参考需求文档并从系统中导出对应SQL;新需求直接填写模板。

类型4:数据服务

盘点方式:基于数据服务说明文档及其他材料,按照模板补充缺失属性。

类型5:基础标准及公共代码

盘点方式:基于已有标准文档,按照模板补充缺失属性。

类型6:指标标准及维度标准

盘点方式:基于已有标准文档,按照模板补充缺失属性。

类型7:逻辑模型

盘点方式:参照已有架构文档或者DWD层主题域设计建立逻辑模型架构,并按照模板填写完整。

2、数据资产盘点难点

难点1:盘点过程中模板的频繁修改变更

对策事前建立全局性资产分类及编码。对企业进行数据资产盘点首先要明确有哪些资产、如何分类以及各个分类之间的关系,如果前期没有充分准备就开始盘点的话,会导致盘点过程中模板的频繁修改变更,建立全局视角的资产分类及编码是决定后续能否顺利进行盘点的关键。

难点2:资产盘点项目结束后如何更新维护

对策:在系统中实现自动的更新与维护。比如元数据能及时体现出BI工具或数据仓库里表变更,在建模的过程中引用标准,通过镜像工程引入到数据仓库中,通过元数据的获取过程中同时获取与标准和模型的关系,从而在元数据中自动建立了关系。

3、数据资产应用场景

场景1:数据资产目录管理

如下图所示,从交易系统、数据仓库或系统间传输工具中,端到端的把数据地图呈现出来,并与标准模块进行连接和处理,最终呈现出资产目录。

场景2:基础标准梳理及落地

如同所示,对存量系统进行自动的对标和检核;对新增系统基于实际库表建模,并在建模中数据标准自动推荐。

这篇关于中电金信数据治理专家武威:企业数据资产盘点及应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/249391

相关文章

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像

在Pandas中进行数据重命名的方法示例

《在Pandas中进行数据重命名的方法示例》Pandas作为Python中最流行的数据处理库,提供了强大的数据操作功能,其中数据重命名是常见且基础的操作之一,本文将通过简洁明了的讲解和丰富的代码示例,... 目录一、引言二、Pandas rename方法简介三、列名重命名3.1 使用字典进行列名重命名3.编