本文主要是介绍DataWorks产品架构,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
概述
DataWorks提供九个核心功能模块:以数据为基础,以全链路加工为核心,提供数据汇聚、研发、治理、服务等多种功能。既能满足平台用户的数据需求,又能为上层应用提供各种行业解决方案,整体功能架构如下图所示。
产品架构
数据集成:全领域数据汇聚
数据集成(Data Integration)是提供了可跨异构数据存储系统能力、可靠、安全、低成本、可弹性扩展的数据同步平台。
目前数据集成主要支持数据批量(离线)、增量两种同步方式,并提供整库迁移和批量上云等解决方案。数据集成提供的批量创建同步任务的快捷工具,能让您快速将单个或多个数据库内所有表批量上传到MaxCompute中,节省大量时间与人力成本。
数据开发:数据融合加工
DataWorks的数据开发提供SQL格式化、智能补齐、关键字高亮、错误提示、SQL内部结构等人性化功能。
数据开发支持用户自行组合SQL、MR、Shell、实时计算和PAI机器学习各类任务的混编工作流,并实现分钟级调度、逻辑控制和上下游传参。
数据分析:即时快速分析
数据分析功能为DataWorks本身的查询结果、本地Excel文件、MySQL等常见数据源提供快速灵活的透视分析能力。基于OLAP引擎Hologres,数据分析可以为您提供庞大数据量分析的加速能力。
在DataWorks中查询结果后,单击数据分析,即可跳转至数据分析页面。
数据质量:全流程的质量监控
数据质量帮助您第一时间感知到源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,有效阻断脏数据向下游蔓延。
数据质量以数据集(DataSet)为监控对象,支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供历史校验结果的管理,以便您对数据质量进行分析和定级。详情请参见数据质量。
智能监控:保证数据供给稳定
智能监控(Intelligent Monitor)是DataWorks运维监控中负责任务运行监控及分析的系统。
根据监控规则和任务运行情况,智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控可以筛选关键依赖、对比实时关键路径,最终自动选择最合理的报警时间、报警方式以及报警对象,辅助您的决策优化。
说明 DataWorks基础版不支持智能监控中的基线管理和事件管理。
数据地图:统一管理,跟踪血缘
数据地图以数据搜索为基础,提供表使用说明、数据类目、数据血缘、字段血缘等工具,帮助数据表的使用者和拥有者更好地管理数据、协作开发。
数据资产管理(仅专有云)
业务系统及数据资源平台中存在大量的数据表、API等各类数据资产,数据管理者通过数据集成同步数据、数据开发加工数据后,需要对整个平台数据进行统一管控,了解平台的核心数据资产,提供对应的数据资产管理规范。
数据安全:为数据保驾护航
DataWorks的数据安全功能针对数据资产管理,提供数据识别、敏感数据发现、数据分类分级、脱敏、访问监控、风险发现预警与审计能力。
数据服务:低成本快速发布API
数据服务不仅支持您将现有的API快速注册到数据服务平台以统一管理和发布,通过与阿里云API网关(API Gateway)打通,还支持您将API服务一键发布至API网关。您只需关注API本身的查询逻辑,无需关心运行环境等基础设施。数据服务会为您准备好计算资源,并支持弹性扩展,实现零运维成本。
在您通过图形化界面完成API发布后,数据服务还能自动为您生成API文档,并且实时更新文档。
数据应用开发:轻松构建数据应用
DataWorks通过App Studio实现数据应用开发功能。
App Studio是一款数据开发工具。您无需下载、安装本地IDE和配置环境变量,只需一个浏览器即可编写、运行和调试应用程序,体验和本地IDE一样的编程效果,在线发布应用。App Studio提供了丰富的前端组件,通过自由拖拽,即可简单快速搭建前端应用。
多租户模型:更直观的权限管控
DataWorks拥有自己的多租户权限模型。
- 针对计算和存储资源,租户可以按需申请资源配额,独立管理自己的资源。
- 针对数据,租户可以独立管理自有的数据、权限、用户、角色,实现与其他租户间彼此隔离,确保数据安全。
工作空间管理(公共云)与平台管理(专有云)
工作空间作为代码管理、成员管理、角色和权限分配的基本单元,每个团队都可以具有独立的工作空间。
您只有在加入工作空间并被分配权限后,才具备查看代码、编辑代码、代码发布申请、代码审批执行等权限。
这篇关于DataWorks产品架构的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!