【功能设计】数据分发功能设计

设计脑图

功能性

非功能性

功能设计文档

1. 需求分析

1.1、功能性需求

针对主数据管理系统（MDM）需要与外部系统进行主数据交互的需求，设计了以下数据分发管理功能，以实现敏感字段过滤、手动控制数据分发、直观展示分发数据场景以及便捷高效的系统间数据交互：

1. 敏感字段过滤：根据权限配置过滤掉敏感字段，确保数据的安全性和合规性。
2. 手动控制数据分发：允许业务管理员手动控制数据分发的触发和停止。
3. 分发数据场景展示：提供直观的界面展示，用于显示已经分发的数据场景。
4. 高效的系统间数据交互：为了提高数据传递的效率和便捷性。

适用对象：获取MDM主数据的外部系统、接收MDM分发数据的外部系统

功能场景描述：

• 系统A需要从MDM拉取数据

  当有系统A需要拉取MDM物料数据时，MDM需要过滤掉对于系统A来说没有权限查看的敏感数据。

  在系统A数据使用审批（线下）通过之后，MDM业务管理员通过执行步骤（已维护直接跳过）：

  1. 维护系统A信息
  2. 维护过滤出敏感字段的通用数据权限模板
  3. 配置拉取策略（绑定接入方、调用限制、授权模板、状态、有效期等）

  后，系统A可通过（定时）调用MDM系统方提供的（已开发好的）的标准物料主数据查询接口，拉取到过滤后的物料主数据。

• MDM向系统B分发数据

  当MDM需要集成系统B，并向其分发物料主数据时，发送的数据需要过滤掉系统B没有权限获取的敏感数据。

  在MDM需要开发推送数据到系统B的需求场景时（如：场景：物料申请-OA审批通过-推送数据到CRMS）,系统B数据使用审批（线下）通过之后，MDM业务管理员通过执行步骤（如已维护跳过）：

  1. 维护系统B信息
  2. 维护需要过滤敏感字段的通用数据权限模板

  后，告知MDM系统方，MDM系统方开发人员在对应需求场景中，通过执行步骤（如已维护跳过）：

  1. 维护数据对象
  2. 开发标准通用主数据推送接口
  3. 维护推送场景（比如：物料申请），生成推送任务（目的：直观展示是哪些场景何时分发了数据）

  后，告知业务管理员，业务管理员通过MDM系统方维护的场景来配置分发策略，执行步骤：

  1. 配置分发策略，包括绑定接入方、指定推送场景、授权模板、重试次数、状态和有效时间等。

  后，MDM系统方开发人员通过调用对应场景下的配置策略，过滤推送到系统B的敏感数据。

具体功能点：

1. 消费方管理

   外部系统基础信息管理。

   包含消费方新增、修改、删除、列表查看功能。

2. 元对象管理（字典）

   数据拉取元对象：完整主数据对象，如物料、客户等。

   数据推送元对象：场景，如物料新增、客户上市等。

​ 包含新增、修改、删除、列表查看功能。

3. 权限模板管理

   主数据元对象，具体授权字段。

   包含模板的新增、修改、删除、列表等功能。

4. 数据分发配置管理

   配置外部系统接入方对应数据分发策略。

   具体配置内容：

   • 被动拉取：绑定接入方、数据授权模板、调用限制、生效状态、有效起止时间

   • 主动推送：绑定接入方、选择业务推送场景、数据授权模板、重试次数、生效状态、有效起止时间

5. 分发任务管理

   基于数据推送场景自动创建一条分发任务；展示哪些场景下何时分发数据（场景、创建时间）。

   包含列表功能。

6. 分发日志管理

   基于分发任务自动推送创建分发日志，记录具体分发数据；对于日志中失败记录，可进行手动推送。

   包含列表查看、手动重新分发按钮功能。

7. 异常提醒功能

   对于分发异常数据、系统异常，钉钉推送给运维人员处理。

   包含钉钉消息推送功能。

1.2、非功能性需求

1. 性能
   • 避免同时处理并响应多个数据获取请求时出现响应时间长。
2. 可用性
   • 系统运行稳定性可靠，避免异常崩溃或意外停机。
3. 并发性
   • 该功能无并发场景。
4. 安全性
   • 确保只有经过认证授权的外部系统才能访问系统数据资源。
   • 确保数据传输过程的数据完整性、可验证性、安全性，避免被篡改。
   • 确保数据在传输过程中得到保护（非必须）。

2. 功能设计

2.1 业务流程图

MDM数据被动拉取、或主动分发时，不同参与者处理的业务活动内容。主要分为：接入方、业务管理员、系统方。

2.2 数据流图

顶层数据流图：

细化数据流图：

2.3 表结构设计

消费方管理、权限模板管理、分发配置管理、分发任务管理表、分发日志记录表结构设计如下；元对象（数据对象、场景）管理为字典管理。

tn_mdm_date_distribute_consumer（消费方管理表）

tn_mdm_date_distribute_authorization_template（权限模板管理表）

tn_mdm_date_distribute_config（分发配置管理表）

tn_mdm_date_distribute__task（分发任务管理表）

tn_mdm_date_distribute_log（分发日志表）

2.4 接口设计

根据UI界面，设计定义具体接口。

2.5 功能点

3.非功能性设计

3.1 性能

1. 限制分发时数据包大小，控制单次数据分发条数。

2. 网关负载均衡，采用权重轮询/IP哈希策略。

3. 限制调用系统接口次数，控制访问时间。

4. 查询数据放入缓存。

5. 外部系统获取系统数据异步执行，系统向多个外部系统分发多线程并行执行。

6. 数据库设计读写分离，主库实例负责写入，从库实例负责读取。

7. 表设计、索引优化。

3.2 可用性

1. 通过ESB进行服务限流（设置阈值，监控请求）、熔断（实时监控可用性，出现故障时，暂时关闭活切换到备用结点）。
2. 高可用应用部署架构，应用部署主备机制。

3.3 并发性

1. 暂无并发场景。

3.4 安全性

1. 调用鉴权。

2. 调用签名。

3. 数据加密（非必须）。