阿里云DataWorks独享资源组

2023-11-20 23:30
文章标签 阿里 资源 独享 dataworks

本文主要是介绍阿里云DataWorks独享资源组,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、数据产出的企业级要求:

2、DataWorks任务常见问题

   A、任务无产出且日志显示等待gateway资源

  1. B、同步任务日志出现大量Speed为零的情况,导致大批量任务一直处于运行中状态

3、DataWorks任务资源使用机制、问题及解决

DataWorks以两次计算资源,按照用户预期(依赖关系、定时时间)运行用户

   A、默认共享资源组使用机制

如下图,为2月13号凌晨2点开始调度的5个任务(三个计算任务、两个同步任务)。任务通过1(调度资源组)后,其中计算任务下发到2(计算引擎),同步任务下发到3(同步资源组)

   B、默认共享资源组所带来的问题

       a、无法消化代码(排队,等待GateWay…)

       b、(排队,等待GateWay…)

原因:资源共享,在业务高峰期,每个企业任务能拿到的资源是不同的,会导致任务可能无法准时调度、分配不到同步任务线程。

C、解决方法--独享资源组

优点:独享资源组机器专属于自己的阿里云主账号,资源不会发生外界的资源抢占问题。

 

  1. 成本计算

A、调度资源组:

公共调度资源组收费策略

独享调度资源组收费策略

购买建议:

每日调度实例>500时,多数情况下独享资源比共享资源组更省钱(预估期望每天8h完成任务,每个任务运行5min)(产出时间越宽裕越省、任务平均运行时间越低越省、并发要求越低越省)

可先购买较少数量的资源,先承载上游核心调度任务,后期不够扩容。

  1. 数据集成资源组

此类任务由于共享资源组收费较低,故大部分情况下费用会低于独享数据集成资源组(收费情况同调度资源组)

公共数据集成资源组收费策略:

 

  1. 注意事项
  • 选择正确的Region(资源组目前不可跨Region使用)
  • 建议购买2台及其以上资源组,以便实现高可用
  • 测试后再上线任务
  • 独享数据集成资源组相关注意事项:

   需要与数据源绑定在同一个VPC交换机(vswitch)下,绑定后也仅支持访问该交换机下的数据源

   暂不支持经典网络数据同步

   如数据源跨vswitch,则需提交工单打通路由

          如数据源跨VPC,则用户先自行打通高速通道,再提交工单打通路由。

          如果数据源在IDC,则用户拉通云上物理专线,再提交工单打通路由。

 

 

 

这篇关于阿里云DataWorks独享资源组的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/398216

相关文章

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

49个权威的网上学习资源网站

艺术与音乐 Dave Conservatoire — 一个完全免费的音乐学习网站,口号是“让每一个人都可以接受世界级的音乐教育”,有视频,有练习。 Drawspace — 如果你想学习绘画,或者提高自己的绘画技能,就来Drawspace吧。 Justin Guitar — 超过800节免费的吉他课程,有自己的app,还有电子书、DVD等实用内容。 数学,数据科学与工程 Codecad

阿里云服务器ces

允许公网通过 HTTP、HTTPS 等服务访问实例 https://help.aliyun.com/document_detail/25475.html?spm=5176.2020520101.0.0.3ca96b0b3KGTPq#allowHttp

LLM系列 | 38:解读阿里开源语音多模态模型Qwen2-Audio

引言 模型概述 模型架构 训练方法 性能评估 实战演示 总结 引言 金山挂月窥禅径,沙鸟听经恋法门。 小伙伴们好,我是微信公众号《小窗幽记机器学习》的小编:卖铁观音的小男孩,今天这篇小作文主要是介绍阿里巴巴的语音多模态大模型Qwen2-Audio。近日,阿里巴巴Qwen团队发布了最新的大规模音频-语言模型Qwen2-Audio及其技术报告。该模型在音频理解和多模态交互

汇编:嵌入式软件架构学习资源

成为嵌入式软件架构设计师需要掌握多方面的知识,包括嵌入式系统、实时操作系统、硬件接口、软件设计模式等。 以下是一些推荐的博客和网站,可以帮助你深入学习嵌入式软件架构设计: ### 1. **Embedded.com**    - **网址**: [Embedded.com](https://www.embedded.com/)    - **简介**: 这是一个专注于嵌入式系统设计的专业网

Unity 资源 之 Super Confetti FX:点亮项目的璀璨粒子之光

Unity 资源 之 Super Confetti FX:点亮项目的璀璨粒子之光 一,前言二,资源包内容三,免费获取资源包 一,前言 在创意的世界里,每一个细节都能决定一个项目的独特魅力。今天,要向大家介绍一款令人惊艳的粒子效果包 ——Super Confetti FX。 二,资源包内容 💥充满活力与动态,是 Super Confetti FX 最显著的标签。它宛如一位

超越IP-Adapter!阿里提出UniPortrait,可通过文本定制生成高保真的单人或多人图像。

阿里提出UniPortrait,能根据用户提供的文本描述,快速生成既忠实于原图又能灵活调整的个性化人像,用户甚至可以通过简单的句子来描述多个不同的人物,而不需要一一指定每个人的位置。这种设计大大简化了用户的操作,提升了个性化生成的效率和效果。 UniPortrait以统一的方式定制单 ID 和多 ID 图像,提供高保真身份保存、广泛的面部可编辑性、自由格式的文本描述,并且无需预先确定的布局。

caffe训练openpose相关资源

CPMTransformationParameter参数解析: https://www.jianshu.com/p/063a2159f0f2 genLMDB.py: https://www.jianshu.com/p/1cae32cbd36d OpenPose 参数说明: https://blog.csdn.net/zziahgf/article/details/84668319 openp

ubuntu内存资源使用情况监视

此处分享一个可以查看ubuntu系统中资源使用情况的指令,只需要在终端中输入一下这条指令即可: gnome-system-monitor

node.js实现阿里云短信发送

效果图 实现 一、准备工作 1、官网直达网址: 阿里云 - 短信服务 2、按照首页提示依次完成相应资质认证和短信模板审核; 3、获取你的accessKeySecret和accessKeyId; 方法如下: 获取AccessKey-阿里云帮助中心 4、获取SignName(签名名称)和 TemplateCode(模板code); 二、代码实现 1、项目结构 【/c