御膳房数据开发平台学习

2023-11-02 09:50

本文主要是介绍御膳房数据开发平台学习,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.开发工作台简介

基本上分为左侧菜单右侧主界面。点击菜单时,右侧弹出tab页,和普通的管理系统没有太大的差别。

左侧菜单包括以下内容:

  • 数据开发:当任务需要日常自动调度时,可以建工作流节点。数据开发tab就是设计工作流的各种任务包括 工作流节点、函数。各种任务类型实例请看 "工作流节点例子"
  • 模型设计:主要是数据流设计模块,一般是提供架构师进行模型ER图设计。激活该tab,点击红色“+”图标新建数据流,详细请看模型设计。
  • 临时查询:主要是跑临时查询job的tab,临时查询文件不能发布到生产环境。激活该tab,点击红色“+”图标新建临时查询文件。
  • 手动任务:主要建一次性任务。当前只支持odps sql类型任务,可发到生产环境,完全靠手动促发的任务,不会自动调度。激活该tab,点击红色“+”图标新建手动任务,编辑好代码和配置,提交发布到生产环境,然后运维工作台里到“手动节点”tab进行手动操作运行。
  • 找数据:meta的缩化版,搜索查看元数据列表。 
  • 表管理:可视化模型建表管理,可视化建表,详情请查看表管理
  • 函数列表:odps内置函数列表。
  • 数据服务: 已经订购并拥有权限的数据服务列表。
  • 回收站:右键删除任务后,会进入回收站,可以在回收站里恢复,但是恢复的前提是删除的任务也已经发布到生产环境然后再来恢复,恢复的文件需要提交生成新的id再走发布管理发布任务。

操作方法基本上是激活tab页,点击左上方“+”号进行操作,当然,也可点击右键进行操作。

右侧主工作区常用功能如下:

  • 工具栏:新建任务后右边编辑区每个任务一个页签打开,顶部是工具栏,常用工具:

    • 保存:保存节点代码和配置,相当于svn保存本地。

    • 提交:提交任务到调度开发服务,相当于svn提交,提交后文件是当前用户锁定,同时会生成一个版本,首次提交后会生成版本1同时给任务一个唯一的任务id号。可在目录栏对任务右键“查看历史版本”看任务有多少个版本。

        注意:提交是指提交到调度开发环境,任务需要提到生产环境必须是先提交到开发环境在走发布管理发布到生产环境。
  • 提交并解锁:与上面的“提交功能”基本一致,不一样的是提交后非当前用户锁定状态而是可编辑状态。

  • 运行:运行当前节点代码,也可以选择当前节点里部分代码运行。

  • 高级运行:运行当前节点代码,当前节点代码里有变量时,高级运行会每次弹框让用户自己填写变量值。

  • 终止:kill掉正在运行的job。

  • 在开发环境测试:任务提交后可以在调度开发环境调试,这个功能即会运行一次这个任务调试代码+节点配置。

  • 前往开发环境的调度系统:进入调度的开发环境界面,可以看节点工作流图。

  • 编辑区域:主要是任务代码,调度配置的编辑,节点血缘和版本查看。

    • 代码,节点代码编辑,各种代码语法各自参考对应的语法。

    • 调度,节点的调度配置,一个工作流节点需要什么时候执行,需要依赖什么上游,调度内置时间参数等包括基本属性、时间属性、调度依赖、调度内置时间参数列表

    • 血缘,查看该节点血缘关系,包括数据血缘(内部血缘图)和调度血缘(依赖关系图)。

    • 版本,查看节点版本。节点提交成功一次生成一个版本,与左边目录上对任务右键“查看历史版本”功能一样。

2.工作流节点

《1》ODPS SQL

  ODPS SQL适用于海量数据(TB级别)。实时性要求不高的场合,他的每个作业的准备,提交等阶段要花费较长时间,因此每秒处理成千上万比事务的业务是不能用ODPS SQL完成的。

  配置ODPS SQL类型的任务大概有这些步骤:①建立节点->②编辑节点代码->③节点配置->④提交到开发环境->⑤调试->⑥发布到生产环境。

《2》同步数据

  它的作用是:提供数据从公网、阿里云内网等不同网络环境与BASE实例数据存储间的高速数据传输能力。

  配置步骤与ODPS SQL基本上一致。区别是它不提供开发调试功能,只能上线运行。

     同步方式包括

    - 跨平台导入:从外部导入数据到官方数据源

    - 平台内同步:官方数据源之间数据同步

    - 跨平台导出:从官方数据源导出数据

《3》虚拟节点

基本上和ODPS SQL一模一样,只是为了方便管理和结构清晰。类似于狗、猫、鼠需要一个动物来连接它们,这个动物就是虚拟节点。

3.表管理

主要有以下注意点:

①类型分为(按照表名下标):

◇ 上传表 - 通过数据同步工具上传到ODPS中的表。在数据同步中上传任务可以选择,不可以导出,仅可用于数据计算。

◇ 临时表 - 数据处理过程的临时表,系统会不定期进行清理。不保证数据的存储周期。

◇ 结果表 - 数据处理后需要持久化的数据表。可以用来导出,也可以持久保存(依赖生命周期)

②字段类型只支持四种:string、bigint、double、datetime。

③默认增加dt字段用于分区

4.发布管理

任务(包括工作流节点、函数)新增,修改需要发布到生产环境,必须走发布管理发布。

任务发布前提条件:任务必须是提交有新版本(未发布到生产环境)。

转载于:https://www.cnblogs.com/ZhangWanFan/p/5263311.html

这篇关于御膳房数据开发平台学习的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/329779

相关文章

如何使用C#串口通讯实现数据的发送和接收

《如何使用C#串口通讯实现数据的发送和接收》本文详细介绍了如何使用C#实现基于串口通讯的数据发送和接收,通过SerialPort类,我们可以轻松实现串口通讯,并结合事件机制实现数据的传递和处理,感兴趣... 目录1. 概述2. 关键技术点2.1 SerialPort类2.2 异步接收数据2.3 数据解析2.

Java进阶学习之如何开启远程调式

《Java进阶学习之如何开启远程调式》Java开发中的远程调试是一项至关重要的技能,特别是在处理生产环境的问题或者协作开发时,:本文主要介绍Java进阶学习之如何开启远程调式的相关资料,需要的朋友... 目录概述Java远程调试的开启与底层原理开启Java远程调试底层原理JVM参数总结&nbsMbKKXJx

大数据spark3.5安装部署之local模式详解

《大数据spark3.5安装部署之local模式详解》本文介绍了如何在本地模式下安装和配置Spark,并展示了如何使用SparkShell进行基本的数据处理操作,同时,还介绍了如何通过Spark-su... 目录下载上传解压配置jdk解压配置环境变量启动查看交互操作命令行提交应用spark,一个数据处理框架

基于Python开发PDF转PNG的可视化工具

《基于Python开发PDF转PNG的可视化工具》在数字文档处理领域,PDF到图像格式的转换是常见需求,本文介绍如何利用Python的PyMuPDF库和Tkinter框架开发一个带图形界面的PDF转P... 目录一、引言二、功能特性三、技术架构1. 技术栈组成2. 系统架构javascript设计3.效果图

通过ibd文件恢复MySql数据的操作方法

《通过ibd文件恢复MySql数据的操作方法》文章介绍通过.ibd文件恢复MySQL数据的过程,包括知道表结构和不知道表结构两种情况,对于知道表结构的情况,可以直接将.ibd文件复制到新的数据库目录并... 目录第一种情况:知道表结构第二种情况:不知道表结构总结今天干了一件大事,安装1Panel导致原来服务

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

基于Python开发PDF转Doc格式小程序

《基于Python开发PDF转Doc格式小程序》这篇文章主要为大家详细介绍了如何基于Python开发PDF转Doc格式小程序,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 用python实现PDF转Doc格式小程序以下是一个使用Python实现PDF转DOC格式的GUI程序,采用T

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据

《mysql通过frm和ibd文件恢复表_mysql5.7根据.frm和.ibd文件恢复表结构和数据》文章主要介绍了如何从.frm和.ibd文件恢复MySQLInnoDB表结构和数据,需要的朋友可以参... 目录一、恢复表结构二、恢复表数据补充方法一、恢复表结构(从 .frm 文件)方法 1:使用 mysq