阿里云 DataWorks v2.0 常见问题与难点解析整理

2023-11-04 04:40

本文主要是介绍阿里云 DataWorks v2.0 常见问题与难点解析整理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、依赖关系配置

  • 依赖关系原理概述
  • 三种依赖配置方式
  • “自动解析”配置依赖关系:推荐使用
  • 手动配置依赖关系
  • “自动推荐”配置依赖关系

1.1 依赖关系原理概述

在这里插入图片描述

  • 可扩展性差,缺乏解耦
  • 重跑任务的成本太高

输出名称

  • 每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。

在这里插入图片描述
【原则】

  • 每个节点必须配置至少一个本节点输出名称、一个父节点输出名称
  • 每个输出点必须在同租户、同Region唯一
    在这里插入图片描述

1.2 三种依赖配置方式

【依赖模式】

  • 手动配置:手工搜索上游节点名称实现;
  • 自动推荐:通过SQL血缘找到对应节点名
  • 自动解析:通过SQL insert / create / from 解析输出名。

在这里插入图片描述

1.3 自动解析依赖关系

  • 原理:根据 INSERT / CREATE / FROM 自动填写上游输出名与本节点输出名
  • 前提:下游任务的输入表必须是上游任务的产出表
    在这里插入图片描述
    在这里插入图片描述

1.4 手动配置依赖关系

在这里插入图片描述
在这里插入图片描述

  • 可以通过拉线的方式手动配置,这是最简单的方式
  • 填写上游节点输出名进行手动配置

1.5 “自动推荐”配置依赖关系

在这里插入图片描述

二、常见问题解析

2.1 自动解析后提交失败

Q:自动解析后提交失败,报错:依赖的父节点输出projectname.table不存在,不能提交本节点,请先提交父节点。

在这里插入图片描述
A:出现这种情况有以下两种原因:

  1. 上游节点未提交,提交后可以再次尝试。
  2. 上游节点已经提交,但上游节点的输出名不是 workshop_yanshi.tb_2 。
    在当前的阿里云账号(同Region)下,必须存在一个拥有workshop_yanshi.tb_2输出名的节点已提交。

2.2 本节点输出中,下游节点名称等都是空且不能填写

Q:为什么本节点的输出中,下游节点名称、下游节点ID、责任人都是空且不能填写内容?
A:因为没有其他任意一个节点依赖于该输出名。
只有该输出名被依赖,且依赖它的节点被提交,此处才会自动解析出相关信息。

在这里插入图片描述

2.3 如何不自动解析中间表

Q:使用自动解析依赖关系时,如何不解析到中间表?
A:除了在SQL代码中对表名邮件“删除输出/删除输入”之外,还可以在“配置中心”中约点中间表前缀,符合规则的中间表讲不会被解析。

在这里插入图片描述

在左下角配置中心-项目配置中:
在这里插入图片描述

三、标准模式解析

  • 标准模式介绍
  • 标准模式与简单模式的区别、优势
  • 注意事项

3.1 标准模式介绍

在这里插入图片描述
标准模式与简单模式的区别、优势

在这里插入图片描述
在这里插入图片描述

四、运维中心使用技巧

  • 版面概述
    在这里插入图片描述
  • 周期任务运维
    在这里插入图片描述
  • 手动期任务运维
  • 组合节点
  • 注意事项

在这里插入图片描述

这篇关于阿里云 DataWorks v2.0 常见问题与难点解析整理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/343296

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

数论入门整理(updating)

一、gcd lcm 基础中的基础,一般用来处理计算第一步什么的,分数化简之类。 LL gcd(LL a, LL b) { return b ? gcd(b, a % b) : a; } <pre name="code" class="cpp">LL lcm(LL a, LL b){LL c = gcd(a, b);return a / c * b;} 例题:

OWASP十大安全漏洞解析

OWASP(开放式Web应用程序安全项目)发布的“十大安全漏洞”列表是Web应用程序安全领域的权威指南,它总结了Web应用程序中最常见、最危险的安全隐患。以下是对OWASP十大安全漏洞的详细解析: 1. 注入漏洞(Injection) 描述:攻击者通过在应用程序的输入数据中插入恶意代码,从而控制应用程序的行为。常见的注入类型包括SQL注入、OS命令注入、LDAP注入等。 影响:可能导致数据泄

从状态管理到性能优化:全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动

Spring 源码解读:自定义实现Bean定义的注册与解析

引言 在Spring框架中,Bean的注册与解析是整个依赖注入流程的核心步骤。通过Bean定义,Spring容器知道如何创建、配置和管理每个Bean实例。本篇文章将通过实现一个简化版的Bean定义注册与解析机制,帮助你理解Spring框架背后的设计逻辑。我们还将对比Spring中的BeanDefinition和BeanDefinitionRegistry,以全面掌握Bean注册和解析的核心原理。

CSP 2023 提高级第一轮 CSP-S 2023初试题 完善程序第二题解析 未完

一、题目阅读 (最大值之和)给定整数序列 a0,⋯,an−1,求该序列所有非空连续子序列的最大值之和。上述参数满足 1≤n≤105 和 1≤ai≤108。 一个序列的非空连续子序列可以用两个下标 ll 和 rr(其中0≤l≤r<n0≤l≤r<n)表示,对应的序列为 al,al+1,⋯,ar​。两个非空连续子序列不同,当且仅当下标不同。 例如,当原序列为 [1,2,1,2] 时,要计算子序列 [

多线程解析报表

假如有这样一个需求,当我们需要解析一个Excel里多个sheet的数据时,可以考虑使用多线程,每个线程解析一个sheet里的数据,等到所有的sheet都解析完之后,程序需要提示解析完成。 Way1 join import java.time.LocalTime;public class Main {public static void main(String[] args) thro

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时,Curator 是一个非常流行的客户端库,它简化了 ZooKeeper 的使用,提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架,包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1