【功能设计】数据分发功能设计

2024-02-27 21:20
文章标签 数据 分发 功能设计

本文主要是介绍【功能设计】数据分发功能设计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 设计脑图
    • 功能性
    • 非功能性
  • 功能设计文档
    • 1. 需求分析
      • 1.1、功能性需求
      • 1.2、非功能性需求
    • 2. 功能设计
      • 2.1 业务流程图
      • 2.2 数据流图
      • 2.3 表结构设计
      • 2.4 接口设计
      • 2.5 功能点
    • 3.非功能性设计
      • 3.1 性能
      • 3.2 可用性
      • 3.3 并发性
      • 3.4 安全性

设计脑图

功能性

在这里插入图片描述

非功能性

在这里插入图片描述

功能设计文档

1. 需求分析

1.1、功能性需求

针对主数据管理系统(MDM)需要与外部系统进行主数据交互的需求,设计了以下数据分发管理功能,以实现敏感字段过滤、手动控制数据分发、直观展示分发数据场景以及便捷高效的系统间数据交互:

  1. 敏感字段过滤:根据权限配置过滤掉敏感字段,确保数据的安全性和合规性。
  2. 手动控制数据分发:允许业务管理员手动控制数据分发的触发和停止。
  3. 分发数据场景展示:提供直观的界面展示,用于显示已经分发的数据场景。
  4. 高效的系统间数据交互:为了提高数据传递的效率和便捷性。

适用对象:获取MDM主数据的外部系统、接收MDM分发数据的外部系统

功能场景描述:

  • 系统A需要从MDM拉取数据

    当有系统A需要拉取MDM物料数据时,MDM需要过滤掉对于系统A来说没有权限查看的敏感数据。

    在系统A数据使用审批(线下)通过之后,MDM业务管理员通过执行步骤(已维护直接跳过):

    1. 维护系统A信息
    2. 维护过滤出敏感字段的通用数据权限模板
    3. 配置拉取策略(绑定接入方、调用限制、授权模板、状态、有效期等)

    后,系统A可通过(定时)调用MDM系统方提供的(已开发好的)的标准物料主数据查询接口,拉取到过滤后的物料主数据。

  • MDM向系统B分发数据

    当MDM需要集成系统B,并向其分发物料主数据时,发送的数据需要过滤掉系统B没有权限获取的敏感数据。

    在MDM需要开发推送数据到系统B的需求场景时(如:场景:物料申请-OA审批通过-推送数据到CRMS),系统B数据使用审批(线下)通过之后,MDM业务管理员通过执行步骤(如已维护跳过):

    1. 维护系统B信息
    2. 维护需要过滤敏感字段的通用数据权限模板

    后,告知MDM系统方,MDM系统方开发人员在对应需求场景中,通过执行步骤(如已维护跳过):

    1. 维护数据对象
    2. 开发标准通用主数据推送接口
    3. 维护推送场景(比如:物料申请),生成推送任务(目的:直观展示是哪些场景何时分发了数据)

    后,告知业务管理员,业务管理员通过MDM系统方维护的场景来配置分发策略,执行步骤:

    1. 配置分发策略,包括绑定接入方、指定推送场景、授权模板、重试次数、状态和有效时间等。

    后,MDM系统方开发人员通过调用对应场景下的配置策略,过滤推送到系统B的敏感数据。

具体功能点:

  1. 消费方管理

    外部系统基础信息管理。

    包含消费方新增、修改、删除、列表查看功能。

  2. 元对象管理(字典)

    数据拉取元对象:完整主数据对象,如物料、客户等。

    数据推送元对象:场景,如物料新增、客户上市等。

​ 包含新增、修改、删除、列表查看功能。

  1. 权限模板管理

    主数据元对象,具体授权字段。

    包含模板的新增、修改、删除、列表等功能。

  2. 数据分发配置管理

    配置外部系统接入方对应数据分发策略。

    具体配置内容:

    • 被动拉取:绑定接入方、数据授权模板、调用限制、生效状态、有效起止时间

    • 主动推送:绑定接入方、选择业务推送场景、数据授权模板、重试次数、生效状态、有效起止时间

  3. 分发任务管理

    基于数据推送场景自动创建一条分发任务;展示哪些场景下何时分发数据(场景、创建时间)。

    包含列表功能。

  4. 分发日志管理

    基于分发任务自动推送创建分发日志,记录具体分发数据;对于日志中失败记录,可进行手动推送。

    包含列表查看、手动重新分发按钮功能。

  5. 异常提醒功能

    对于分发异常数据、系统异常,钉钉推送给运维人员处理。

    包含钉钉消息推送功能。

1.2、非功能性需求

  1. 性能
    • 避免同时处理并响应多个数据获取请求时出现响应时间长。
  2. 可用性
    • 系统运行稳定性可靠,避免异常崩溃或意外停机。
  3. 并发性
    • 该功能无并发场景。
  4. 安全性
    • 确保只有经过认证授权的外部系统才能访问系统数据资源。
    • 确保数据传输过程的数据完整性、可验证性、安全性,避免被篡改。
    • 确保数据在传输过程中得到保护(非必须)。

2. 功能设计

2.1 业务流程图

MDM数据被动拉取、或主动分发时,不同参与者处理的业务活动内容。主要分为:接入方、业务管理员、系统方。

image-20230918090308497

2.2 数据流图

顶层数据流图:

image-20230918141623896

细化数据流图:

image-20230918141234300

2.3 表结构设计

消费方管理、权限模板管理、分发配置管理、分发任务管理表、分发日志记录表结构设计如下;元对象(数据对象、场景)管理为字典管理。

tn_mdm_date_distribute_consumer(消费方管理表)

consumer数据类型主键外键描述
consumer_idbigint(20)消费方ID
consumer_namevarchar(50)消费方名称
descriptionvarchar(100)消费方信息
created_byvarchar(64)创建人
created_timedatetime创建时间
updated_byvarchar(64)更新人
updated_timedatetime更新时间
remarkvarchar(500)备注

tn_mdm_date_distribute_authorization_template(权限模板管理表)

列名数据类型主键外键描述
template_idbigint(20)模板ID
template_namevarchar(50)模板名称
element_idvarchar(20)元对象ID
element_namevarchar(50)元对象名称
authorized_fieldsjson授权字段列表
created_byvarchar(64)创建人
created_timedatetime创建时间
updated_byvarchar(64)更新人
updated_timedatetime更新时间
remarkvarchar(500)备注

tn_mdm_date_distribute_config(分发配置管理表)

列名数据类型主键外键描述
config_idbigint(20)配置ID
consumer_idbigint(20)消费方ID
consumer_namevarchar(50)消费方名称
element_idvarchar(20)元对象ID
element_namevarchar(20)元对象名称
distribution_typevarchar(20)分发类型(被动拉取/主动推送)
template_idbigint(20)授权模板ID
template_namevarchar(50)授权模板名称
call_limitint调用限制
is_activeboolean生效状态
start_timedatetime有效起始时间
end_timedatetime有效结束时间
created_byvarchar(64)创建人
created_timedatetime创建时间
updated_byvarchar(64)更新人
updated_timedatetime更新时间
remarkvarchar(500)备注

tn_mdm_date_distribute__task(分发任务管理表)

列名数据类型主键外键描述
distribute_task_idbigint(20)任务ID
element_idvarchar(20)元对象ID
element_namevarchar(20)元对象名称(场景名称)
created_timedatetime创建时间
created_byvarchar(64)创建人
updated_byvarchar(64)更新人
updated_timedatetime更新时间
remarkvarchar(500)备注

tn_mdm_date_distribute_log(分发日志表)

列名数据类型主键外键描述
log_idbigint(20)日志ID
distribute_task_idvarchar(50)任务ID
consumer_idbigint(20)消费方ID
consumer_namevarchar(50)消费方名称
element_idvarchar(20)元对象ID
element_namevarchar(20)元对象名称
business_datajson分发的业务数据
status_codeint(10)接口响应状态码
response_bodyvarchar(200)接口响应内容
error_msgvarchar(200)异常信息
request_timedatetime请求时间
response_timedatetime响应时间
created_byvarchar(64)创建人
created_timedatetime创建时间
updated_byvarchar(64)更新人
updated_timedatetime更新时间
remarkvarchar(500)备注

2.4 接口设计

根据UI界面,设计定义具体接口。

2.5 功能点

功能点功能描述输入输出预期结果
1消费方管理消费方基础信息(系统名称、信息等)执行操作后的提示信息能够方便地管理和维护外部系统消费方的基础信息
2元对象管理(字典)元对象的标识、名称、描述等基本信息执行操作后的提示信息能够方便地管理和维护主数据拉取、推送的元对象
3权限模板管理权限模板的名称、描述以及授权字段的配置执行操作后的提示信息能够方便地管理和维护主数据元对象的权限模板
4数据分发配置管理接入方的信息、数据授权模板、调用限制、生效状态、有效起止时间等配置执行操作后的提示信息能够方便地配置外部系统接入方的数据分发策略
5分发任务管理数据推送场景的信息创建任务后的提示信息,已创建任务的列表能够自动创建分发任务,并清晰地展示哪些场景下何时分发了数据
6分发日志管理分发任务的信息分发日志的列表查看功能,手动重新分发的操作结果能够记录和管理分发任务的日志,便于查看和处理失败的记录
7钉钉提醒功能异常信息提醒分发日志中失败记录(异常)能够推送给MDM系统方运维人员异常信息,便于处理

3.非功能性设计

3.1 性能

  1. 限制分发时数据包大小,控制单次数据分发条数。

  2. 网关负载均衡,采用权重轮询/IP哈希策略。

  3. 限制调用系统接口次数,控制访问时间。

  4. 查询数据放入缓存。

  5. 外部系统获取系统数据异步执行,系统向多个外部系统分发多线程并行执行。

  6. 数据库设计读写分离,主库实例负责写入,从库实例负责读取。

  7. 表设计、索引优化。

3.2 可用性

  1. 通过ESB进行服务限流(设置阈值,监控请求)、熔断(实时监控可用性,出现故障时,暂时关闭活切换到备用结点)。
  2. 高可用应用部署架构,应用部署主备机制。

3.3 并发性

  1. 暂无并发场景。

3.4 安全性

  1. 调用鉴权。

  2. 调用签名。

  3. 数据加密(非必须)。

这篇关于【功能设计】数据分发功能设计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/753642

相关文章

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt

在Rust中要用Struct和Enum组织数据的原因解析

《在Rust中要用Struct和Enum组织数据的原因解析》在Rust中,Struct和Enum是组织数据的核心工具,Struct用于将相关字段封装为单一实体,便于管理和扩展,Enum用于明确定义所有... 目录为什么在Rust中要用Struct和Enum组织数据?一、使用struct组织数据:将相关字段绑

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate

Java实现Elasticsearch查询当前索引全部数据的完整代码

《Java实现Elasticsearch查询当前索引全部数据的完整代码》:本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数(scrol... 目录需求背景通常情况Java 实现查询 Elasticsearch 全部数据写在最后需求背景通常情况下

Java中注解与元数据示例详解

《Java中注解与元数据示例详解》Java注解和元数据是编程中重要的概念,用于描述程序元素的属性和用途,:本文主要介绍Java中注解与元数据的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参... 目录一、引言二、元数据的概念2.1 定义2.2 作用三、Java 注解的基础3.1 注解的定义3.2 内

将sqlserver数据迁移到mysql的详细步骤记录

《将sqlserver数据迁移到mysql的详细步骤记录》:本文主要介绍将SQLServer数据迁移到MySQL的步骤,包括导出数据、转换数据格式和导入数据,通过示例和工具说明,帮助大家顺利完成... 目录前言一、导出SQL Server 数据二、转换数据格式为mysql兼容格式三、导入数据到MySQL数据