DataWorks产品架构

2023-11-29 15:38
文章标签 产品 架构 dataworks

本文主要是介绍DataWorks产品架构,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概述

DataWorks提供九个核心功能模块:以数据为基础,以全链路加工为核心,提供数据汇聚、研发、治理、服务等多种功能。既能满足平台用户的数据需求,又能为上层应用提供各种行业解决方案,整体功能架构如下图所示。

请添加图片描述

产品架构

数据集成:全领域数据汇聚

数据集成(Data Integration)是提供了可跨异构数据存储系统能力、可靠、安全、低成本、可弹性扩展的数据同步平台。

目前数据集成主要支持数据批量(离线)、增量两种同步方式,并提供整库迁移和批量上云等解决方案。数据集成提供的批量创建同步任务的快捷工具,能让您快速将单个或多个数据库内所有表批量上传到MaxCompute中,节省大量时间与人力成本。

数据开发:数据融合加工

DataWorks的数据开发提供SQL格式化、智能补齐、关键字高亮、错误提示、SQL内部结构等人性化功能。

数据开发支持用户自行组合SQL、MR、Shell、实时计算和PAI机器学习各类任务的混编工作流,并实现分钟级调度、逻辑控制和上下游传参。

数据分析:即时快速分析

数据分析功能为DataWorks本身的查询结果、本地Excel文件、MySQL等常见数据源提供快速灵活的透视分析能力。基于OLAP引擎Hologres,数据分析可以为您提供庞大数据量分析的加速能力。

在DataWorks中查询结果后,单击数据分析,即可跳转至数据分析页面。

请添加图片描述
请添加图片描述

数据质量:全流程的质量监控

数据质量帮助您第一时间感知到源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,有效阻断脏数据向下游蔓延。

数据质量以数据集(DataSet)为监控对象,支持监控MaxCompute数据表和DataHub实时数据流。当离线MaxCompute数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供历史校验结果的管理,以便您对数据质量进行分析和定级。详情请参见数据质量。

智能监控:保证数据供给稳定

智能监控(Intelligent Monitor)是DataWorks运维监控中负责任务运行监控及分析的系统。

根据监控规则和任务运行情况,智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控可以筛选关键依赖、对比实时关键路径,最终自动选择最合理的报警时间、报警方式以及报警对象,辅助您的决策优化。

说明 DataWorks基础版不支持智能监控中的基线管理事件管理

数据地图:统一管理,跟踪血缘

数据地图以数据搜索为基础,提供表使用说明、数据类目、数据血缘、字段血缘等工具,帮助数据表的使用者和拥有者更好地管理数据、协作开发。

数据资产管理(仅专有云)

业务系统及数据资源平台中存在大量的数据表、API等各类数据资产,数据管理者通过数据集成同步数据、数据开发加工数据后,需要对整个平台数据进行统一管控,了解平台的核心数据资产,提供对应的数据资产管理规范。

数据安全:为数据保驾护航

DataWorks的数据安全功能针对数据资产管理,提供数据识别、敏感数据发现、数据分类分级、脱敏、访问监控、风险发现预警与审计能力。

数据服务:低成本快速发布API

数据服务不仅支持您将现有的API快速注册到数据服务平台以统一管理和发布,通过与阿里云API网关(API Gateway)打通,还支持您将API服务一键发布至API网关。您只需关注API本身的查询逻辑,无需关心运行环境等基础设施。数据服务会为您准备好计算资源,并支持弹性扩展,实现零运维成本。

在您通过图形化界面完成API发布后,数据服务还能自动为您生成API文档,并且实时更新文档。

数据应用开发:轻松构建数据应用

DataWorks通过App Studio实现数据应用开发功能。

App Studio是一款数据开发工具。您无需下载、安装本地IDE和配置环境变量,只需一个浏览器即可编写、运行和调试应用程序,体验和本地IDE一样的编程效果,在线发布应用。App Studio提供了丰富的前端组件,通过自由拖拽,即可简单快速搭建前端应用。

多租户模型:更直观的权限管控

DataWorks拥有自己的多租户权限模型。

  • 针对计算和存储资源,租户可以按需申请资源配额,独立管理自己的资源。
  • 针对数据,租户可以独立管理自有的数据、权限、用户、角色,实现与其他租户间彼此隔离,确保数据安全。

工作空间管理(公共云)与平台管理(专有云)

工作空间作为代码管理、成员管理、角色和权限分配的基本单元,每个团队都可以具有独立的工作空间。

您只有在加入工作空间并被分配权限后,才具备查看代码、编辑代码、代码发布申请、代码审批执行等权限。

这篇关于DataWorks产品架构的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/433379

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

利用命令模式构建高效的手游后端架构

在现代手游开发中,后端架构的设计对于支持高并发、快速迭代和复杂游戏逻辑至关重要。命令模式作为一种行为设计模式,可以有效地解耦请求的发起者与接收者,提升系统的可维护性和扩展性。本文将深入探讨如何利用命令模式构建一个强大且灵活的手游后端架构。 1. 命令模式的概念与优势 命令模式通过将请求封装为对象,使得请求的发起者和接收者之间的耦合度降低。这种模式的主要优势包括: 解耦请求发起者与处理者

雷动WEBRTC产品

http://www.rtcpower.com/html/leidongwebrtc.html ; 1.前言      WebRTC是一项在浏览器内部进行实时视频和音频通信的技术,是谷歌2010年以6820万美元收购Global IP Solutions公司而获得一项技术。WebRTC实现了基于网页的视频会议,标准是WHATWG 协议,目的是通过浏览器提供简单的javascript就可以

创业者该如何设计公司的股权架构

本文来自七八点联合IT橘子和车库咖啡的一系列关于设计公司股权结构的讲座。 主讲人何德文: 在公司发展的不同阶段,创业者都会面临公司股权架构设计问题: 1.合伙人合伙创业第一天,就会面临股权架构设计问题(合伙人股权设计); 2.公司早期要引入天使资金,会面临股权架构设计问题(天使融资); 3.公司有三五十号人,要激励中层管理与重要技术人员和公司长期走下去,会面临股权架构设计问题(员工股权激

【系统架构设计师】黑板架构详解

黑板架构(Blackboard Architecture)是一种软件架构模式,它模仿了多个专家系统协作解决问题的场景。在这种架构中,“黑板”作为一个中央知识库,存储了问题的当前状态以及所有的解决方案和部分解决方案。黑板架构特别适合于解决那些没有确定算法、需要多个知识源(或称为“专家”)共同作用才能解决的复杂问题。 一、黑板架构的组成 黑板架构主要由以下几个部分组成: 黑板(Blackboa

Java后端微服务架构下的API限流策略:Guava RateLimiter

Java后端微服务架构下的API限流策略:Guava RateLimiter 大家好,我是微赚淘客返利系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿! 在微服务架构中,API限流是保护服务不受过度使用和拒绝服务攻击的重要手段。Guava RateLimiter是Google开源的Java库中的一个组件,提供了简单易用的限流功能。 API限流概述 API限流通过控制请求的速率来防止

全球AI产品Top100排行榜

Web Top50的榜单里,AIGC类型的应用占比52%,遥遥领先。AIGC类型包括图像、视频、音乐、语音等的内容生成和编辑。音乐生成应用Suno在过去六个月中的排名跃升最为显著,从第36位上升至第5位。排名第二大类是通用对话/AI聊天/角色扮演类型的应用,占比20%,包括常见的ChatGPT、Claude、Character.ai等。其他是AI写作(8%)、AI搜索/问答(6%)、Agent/

Arch - 演进中的架构

文章目录 Pre原始分布式时代1. 背景与起源2. 分布式系统的初步探索3. 分布式计算环境(DCE)4. 技术挑战与困境5. 原始分布式时代的失败与教训6. 未来展望 单体时代优势缺陷单体架构与微服务架构的关系总结 SOA时代1. SOA架构及其背景1. 烟囱式架构(Information Silo Architecture)2. [微内核架构](https://www.oreilly.c