MDM主数据平台如何管理参考数据

2023-12-15 12:04
文章标签 数据 平台 管理 参考 mdm

本文主要是介绍MDM主数据平台如何管理参考数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MDM基础数据管理平台是进行清洗和治理企业的主数据,使企业的主数据具有唯一性、准确性、一致性、及时性,通过主数据数据清洗功能将错误数据和重复数据进行清洗,从而保证企业数据能够做到以上那几点,然后再分发至下游系统,使企业信息化更加完善。

MDM主数据管理平台作为数通的一款核心产品,它所承担的任务就是对数据进行治理,而数据分析功能则是对数据治理前后的一些信息的变化进行统计和展示,方便用户对数据进行管理分析,从而提高决策的科学性。而不同功能的日志可以正确地展现出数据治理审计结果。

1整体说明

AEAI MDM 基础数据平台帮助创建并维护整个企业内主数据的单一视图,保证单一视图的准确性、一致性以及完整性,从而简化数据清洗工作、提高数据质量、加快业务系统对接、业务流程再造速度,提高业务响应速度。

MDM是主数据全生命周期的数据管理平台,因此,为了优化用户体验,完善产品架构,在系统进行数据全生命周期管理的同时,一些特定的字段会需要进行枚举配置,这些字段的配置就是通过MDM中的参考数据来完成。

1.1产品介绍

AEAI MDM基础数据平台的设计理念在于保证主数据在各个系统中的正确性、重用性和通用性。通过基础数据平台将企业的主数据进行整合,集中进行数据的清洗和标准化,并以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给各业务系统。助力企业创建并维护主数据的统一视图,通过保证统一视图的准确性、一致性和完整性,提高数据质量,逐步统一企业级数据模型,简化改进企业流程并提高业务的响应速度。

下图是数通的产品套件图:

1.2产品功能

MDM基础数据管理平台整体功能架构如下图所示:

MDM基础数据管理平台分为主数据管理平台与MDC控制台,具体模块的功能如下:

MDM:包含首页看板、数据管理、质量管理和统计分析。

1.首页看板:用于展示主数据的类型数量、参考数据的类型数量、已经注册的应用数量、目前正在代办的任务、已经办理的任务、MDM的个性化配置等等;

2.数据管理:对组织、人员、岗位、客户等基础信息的管理,包括基础数据的关联,发起流程,再次分发等功能。每类主数据都有各自的参考数据,对比如民族、地区、学位等常用而又比较复杂的元数据进行管理;

3.质量管理:对相似数据进行筛选、巡检,分析数据的血缘,进行大批量数据的清洗;

4.统计分析:从主数据的数据量、同步情况、分发情况,进行数据角度,以及从各个应用所下发的数据,从源头业务系统同步进来的数据,对其他业务系统进行数据下发,进行应用角度两个方面进行统计分析。

MDC:包含数据建模、功能建模、流程建模、应用管理等。

1.数据建模:对主数据、参考数据、分类数据进行建模操作;

2.功能建模:创建数据表结构,为主数据进行功能建模,为主数据配置功能组件,以及附件内容的管理;

3.流程建模:为主数据和参考数据定义审批流程,如:流程定义、模拟仿真等操作;

4.应用管理:包括元数据的关联、分组和外部管理系统的关联、分组。

1.3参考数据

参考数据是指在被广泛使用的标准化数据集合,旨在确保组织内各个系统和部门之间的数据一致性和准确性。这些数据通常包括产品信息、客户信息、供应商信息、地理位置信息等。参考数据的目的是为了解决数据冗余、不一致和重复造成的问题,通过统一管理和共享数据,帮助企业提高数据质量、加快决策速度和降低成本。通过统一的主数据管理系统,可以确保所有系统和部门使用相同的参考数据,从而避免了不同系统中的数据不匹配和冲突。

MDM基础数据管理平台中的参考数据主要是为了方便各种主数据中的枚举字段配置。参考数据是统一进行数据储存管理。如果其中某一类型参考数据存在数据量过大的情况,还可以对参考数据进行分表储存。以及在同步上游系统的参考数据还可以通过映射配置完成参考数据同步。

2应用场景

参考数据在企业中的应用场景广泛,涵盖组织,人员、客户、供应商、地理位置等多个方面,用以确保数据的一致性和准确性,帮助企业提高数据质量、加快决策速度和降低成本。

2.1场景介绍

MDM基础数据管理平台中的参考数据应用场景,主要是在不同主数据进行配置时,为了方便数据的可读性、可维护性以及后续应用的重要数据,需要对一些特定的枚举字段进行参考数据映射配置。

2.2类别定义

数据管理就是在MDC控制台中创建对应主数据需要的参考数据模型,或者是大多数主数据都会使用到的参考数据,会把它配置给对应为公共的参考数据。根据业务的需要还可以对参考数据进行分表储存。然后通过在MDM主数据管理平台中的参考数据来完成数据的录入与管理。

2.3数据应用

参考数据主要是用来进行主数据中的枚举字段映射、下拉查询字段配置以及相关组件的配置。通过对不同主数据中的枚举字段完成参考数据的配置,完成参考数据的映射展现。还有参考数据也可以进行功能组件的配置,用来进行一些需要组件类型的字段配置使用。

3类别定义

参考数据的类别定义是指对参考数据进行有效地组织、存储和维护的过程。参考数据是一种用于辅助决策和标准化数据的特殊数据类型,通常用于描述业务规则、行业标准、地理位置、产品分类等领域的固定值。下面会对参考数据的创建及管理进行介绍。

3.1建模配置

参考数据是在MDC控制台中进行建模配置,每当创建一个主数据的时候就会在选择表单生成一个对应的参考数据选择节点。如下图:

可以通过选择对应的主数据来进行参考数据建模配置,然后在MDM主数据管理平台中的参考数据进行数据的录入和调整。此外有一个对应的公共节点,这个节点是用来配置常规的参考数据,以免多个主数据配置相同的参考数据,浪费资源。然后根据业务需求的不同,对一些数据量较大的参考数据还可以进行分表储存,只要对其是否分表进行选择即可,如下图:

3.2同步配置

参考数据不仅可以通过MDM基础数据管理平台中的参考数据来进行录入和管理。还可以通过同步上游系统数据来完成参考数据的录入

进行参考数据同步首先要在对应的参考数据配置来源系统。如下图:

配置好应用系统以后就可以根据此来创建对应的集成流程来完成参考数据的同步录入。因为上游系统的数据编码可能与MDM基础数据管理平台中的数据编码不相同,所以参考数据支持字段的映射配置来完成参考数据同步,如下图:

通过调整类别编码来达到与上游系统的编码相同而完成参考数据同步。同步时也会根据参考数据配置的是否分表来进行数据储存。

3.3管理要点

对于参考数据的数据管理,整理总结一些要点如下:

1.数据收集:首先需要收集到相关主数据所需的参考数据,这些数据可以来自于行业标准、公共数据库、内部记录等多个来源。确保数据可靠性和准确性非常重要。

2.数据分类和标准化:对于收集到的参考数据,需要进行分类和标准化。可以使用适当的分类方法和标准进行参考数据的整理,使之具备一致性和易于使用。

3.数据存储和组织:参考数据可以存储在数据库中或者特定的数据管理系统中。根据具体情况选择合适的存储方式,确保数据的高效访问和管理。

4.数据更新和维护:随着时间的推移,参考数据可能需要进行更新和维护。定期审查数据,确保其与业务需求和标准的一致性,并及时更新和维护数据。

5.数据文档和元数据管理:文档化参考数据和其相关的元数据是管理参考数据的关键一步。提供清晰的文档和说明,可以帮助用户理解和正确使用参考数据。

总之,参考数据的数据管理是一个综合性的任务,需要确保数据的准确性、一致性和可靠性,并为用户提供方便和高效的访问方式。

4数据应用

上述一系列都是讲述参考数据的创建、配置以及管理。参考数据的应用是通过与主数据进行关联来完成数据应用。下面来说一说参考数据的应用,以及对应的操作配置。

4.1数据应用

数据的应用首先是在数据建模的时候可以根据字段的业务属性来进行参考数据的应用,如下图:

通过上图可以明确的看出人员数据建模下的民族字段配置的是参考数据,但是其选择的是公共的参考数据,说明本地配置的主数据大多数都可能会用到这个,所以把它配置在公共类下的参考数据。

再有就是在功能配置的时候进行参考数据的应用,如下图:

功能配置中的参考数据应用是根据不同表单来进行字段的配置。

4.2数据操作

参考数据操作是对各种表单字段的业务需求来进行调整,例如人员主数据表单,如下图:

可以在表单配置页面添加需要的字段来在页面展示,如下图:

同理在管理表单也可以进行参考数据的应用,如下图:

配置好以后通过保存部署就可以在主数据页面展现出来。

4.3效果展现

首先来展示一下列表页配置好的参考数据,如下图:

然后取消参考数据的应用,如下图:

下面是管理表单页面配置好的参考数据效果,如下图:

如果把配置好的参考数据取消就会变成枚举之前的样式与列表页效果相同,可以看出参考数据能很好的协调数据的展现,以及方便各种数据的储存。

5总结说明

现在无论是传统企业还是互联网企业,企业内各类庞大的数据都需要一个载体来承接。传统的纸质资料早已被信息化的各类系统所取代,主数据的管理是属于时代必需的产物。通过对主数据的数据治理来完成数据质量的把关,保证数据的统一性,完整性,准确性,从而有效地分发给下游系统。

MDM在进行数据全生命周期管理的时候一些特定的字段需要用枚举字段来进行映射,MDM中的参考数据可以根据企业的具体需求和业务流程进行扩展和定制,以满足不同部门和系统对数据一致性和准确性的要求。

5.1过程总结

MDM主数据平台的目的在于可以将各类杂乱无章的数据进行筛选、清洗、过滤,把最后的高质量数据留下来,保证数据的完整性,统一性,并支持对其它系统数据与MDM主数据平台的同步分发,还可以根据需求搭配本公司其它产品进行组合使用,使数据治理变得游刃有余。

通过对参考数据的数据管理来完成主数据中的参考数据预置,然后在配置主数据的过程中对参考数据进行应用,进而完成主数据中枚举字段的映射及数据展现。

5.2重要事项

本文主要是在介绍MDM的参考数据的管理和应用,对此有以下总结:

1.数据准确性:确保参考数据的准确性至关重要。错误的参考数据可能导致决策失误、分析不准确和业务流程混乱。因此,应定期验证和更新参考数据,以确保其与实际业务情况保持一致。

2.数据一致性:在参考数据管理中,确保数据的一致性至关重要。一致性意味着在不同的系统和应用程序中,相同的参考数据应具有相同的含义和表示。应建立数据标准和规范,以确保数据一致性在整个组织中得到维护。

3.数据安全性:参考数据可能包含敏感和机密信息,因此数据安全性是参考数据管理的重要方面。应采取适当的安全措施,如访问控制、加密和备份,以确保参考数据的机密性、完整性和可用性。

4.数据可追溯性:参考数据的更改和更新应可追溯。应记录数据的来源、更改历史和使用情况,以便在需要时可以追踪和验证数据的来源和准确性。

5.数据共享与协作:参考数据通常在多个部门和系统之间共享。因此,应建立有效的数据共享机制和协作流程,以确保参考数据在组织内部得到适当的使用和管理。同时,应注意数据隐私和合规性要求,确保在共享数据时不会泄露敏感信息。

5.3说在最后

平台是保障主数据治理方案落地的重要工具,平台在功能上满足主数据治理需求的同时,具备快速扩展能力,以适应不同业务场景的变化,并根据技术的发展及业务的演变,不断迭代升级。MDM参考数据对主数据的全生命周期管理可以提高数据的质量,降低数据集成过程中的成本以及降低了数据风险。

这篇关于MDM主数据平台如何管理参考数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/496383

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi