dolphinscheduler专题
兴业证券基于Apache DolphinScheduler的应用实践
文 / 兴业证券股份有限公司 刘洋 石良生 柳君 李致琪 本文来源于网络，如有侵权，请联系删除 任务调度平台，扮演着自动执行预设任务的重要角色，是业务开展过程中不可或缺的一环。随着业务规模的不断扩展，兴业证券每日需要进行数以万计的任务调度，因此，优化和提升任务调度平台的性能与稳定性至关重要。本文通过分析兴业证券自身任务调度现状，对分布式任务调度技术进行解析与探索，并总结了统一分布式
从零到一，全面掌握Apache DolphinScheduler发版流程，实战派经验分享！
引言 Apache DolphinScheduler的发版流程对于确保软件质量和社区协作至关重要，社区Committer王兴杰为我们详细介绍了Apache DolphinScheduler的发版流程，包括环境准备、流程文档、基础工具准备、依赖包确认等关键步骤，并指出了发版流程中可能会遇到的麻烦以及相应的解决方案，欢迎学习指正。 一、发版物料 （1）Apache要求 a. Maven仓库
Apache DolphinScheduler查看版本信息
我找了半天，没有看到版本在哪里。然后我看配置，他要连接数据库，我去他存储数据库的表里面，看到了相关的版本信息。 cd /home/dolphinscheduler/dolphinscheduler/bin/env dolphinscheduler找到了里面的密码 版本是3.1.3
dolphinscheduler独立集群部署文档（海豚调度）
一、下载解压 服务器内下载（华为云镜像站网址）：wget https://mirrors.huaweicloud.com/apache/dolphinscheduler/3.2.0/apache-dolphinscheduler-3.2.0-bin.tar.gz解压：tar -xvf apache-dolphinscheduler-3.2.0-bin.tar.gz改名：mv apache-d
DolphinScheduler 3.x 执行insert into SQL任务显示成功，但查不到数据
问题：DolphinScheduler 3.x 执行insert into SQL任务成功，但写入数据查询不到 原因：若SQL首行有 “-- ” 开头注释，则是由于 DolphinScheduler 3.x 新版本相较于 2.x 老版本，并未将非查询SQL语句的首行 “-- 注释” 按照换行符分开解读识别，而是识别为一整局的SQL，导致该 insert into 插入语句，当做被注释掉的注释语句
好消息！DolphinScheduler官网集成LLM模型问答AI kapa.ai
不少小伙伴可能发现了，Apache DolphinScheduler官网最近默默上线了kapa.ai作为LLM的问答AI。 集成kapa.ai之后，社区用户可以点击Apache DolphinScheduler官网首页右下角的「Ask AI」模块，在接下来弹出的问答框输入自己的问题，即可利用kapa.ai提供的大模型支持，迅速得到想要的答案。 kapa.ai是一个专门为开发者社区构建的
Dolphinscheduler不重启加载Oracle驱动
转载自刘茫茫看山 问题背景 某天我们的租户反馈数据库连接缺少必要的驱动，我们通过日志查看确实是缺少部分数据库的驱动，因为DolphinScheduler默认只带了Oracle和MySQL的驱动，并且需要将pom文件中的test模式去掉才可以在打包的时候引入。我们的任务量比较大，在3.0存在容错机制的情况下，重启Master和Worker时，任务会重复容错多次，对用户使用很不友好，对Yarn集群
DolphinScheduler 3.3.0版本更新一览
Apache DolphinScheduler即将迎来3.3.0版本的发布，届时将有一系列重要的更新和改进。在近期的社区5月份用户线上分享会上，项目PMC 阮文俊为大家介绍了3.3.0版本将带来的主要更新和改进，并为大家指出了如何参与社区的方式。 什么是DolphinScheduler？ DolphinScheduler是一个开源的项目，主要用来进行工作流编排、运行和管理。 它有四个重要的特点
DolphinScheduler(海豚调度)- docker部署实战
1.官方文档 https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/guide/start/docker 2.docker环境安装 版本情况（这个地方踩了不少坑）：docker-26.1.2，docker-compose-v2.11.0。 具体可使用我上传的安装包，一键安装相关环境：https://download.csdn.net/dow
每天Get一个小技巧：用DolphinScheduler实现隔几天调度
转载自tuoluzhe8521 这篇小短文将教会你如何使用Apache DolphinScheduler实现隔几天调度，有此需求的小伙伴学起来！ 1 场景分析 DolphinScheduler定时器模块-定时调度时每3秒|每3分钟|每3天这种定时，不能够跨分钟，跨小时，跨月，每次跨月等都会从每个月的第1天（第几天开始可以设定）开始重新计时。 为解决此问题，可以采用整天运行，并使用Dol
构建无服务器数仓（二）Apache DolphinScheduler 集成以及 LOB 粒度资源消费分析
引言 在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。 Apache DolphinScheduler 是一种与 EMR Serverless 解耦部署的多功能工作流调度程
ZooKeeper以及DolphinScheduler的用法
目录 一、ZooKeeper的介绍 数据模型 编辑 操作使用 ①登录客户端 编辑 ②可以查看下面节点有哪些 ③创建新的节点，并指定数据 ④查看节点内的数据 ⑤、删除节点及数据 特殊点： 运行机制： 二、DolphinScheduler的介绍 架构： 架构说明 该服务内主要包含: 该服务包含： DolphinScheduler的启动访问和简单运行 ①启
DolphinScheduler 集群高可用测试
文章目录 **DolphinScheduler****集群高可用测试****1 文档概述**2 测试环境说明3 测试场景说明4 高可用测试4.1 API 管理角色的高可用性测试**测试前置：**在测试API角色之前需要确保DS集群中已部署了两个API角色，否则在测试的过程中模拟API说明：测试阶段就未引入Haproxy或F5实现前端页面访问的负载均衡，因此本测试用例均是直接访问相4.1.1
记录海豚调度器删除工作流实例失败的解决办法(DolphinScheduler的WebUI删除失败)
本博客记录以下问题解决办法：使用dolphinscheduler的WebUI运行工作流后出现内存占用过高导致的任务阻塞问题，并且在删除工作流实例时总是报错无法删除 解决步骤 在前端页面无法删除，于是搜索资料，发现可以登录数据库进行工作流实例的删除，具体步骤如下： 1. 登录到 MySQL 或其他数据库管理系统。（我这里是登录dolphinscheduler） [root@node01
【任务调度】Apache DolphinScheduler快速入门
Apache DolphinScheduler基本概念概念：分布式、去中心化、易扩展的可视化DAG工作流任务调度系统。作用：解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 Apache DolphinScheduler是一款开源的调度工具，使用java语言开发，共分为ApiApplicationServer、MasterServer、WorkerServer
DolphinScheduler 调度工作流报错 Host key verification failed.
文章目录 出现问题错误原因及解决方法1.SSH 免密登录配置失败、失效2.不存在该租户 建议 出现问题 在执行调度任务时，失败了，查看日志发现错误 —— Host key verification failed. 错误原因及解决方法 1.SSH 免密登录配置失败、失效 这种情况就检查一下对应的用户是否能够免密登录到其它机器，不能的话就重新配置一下免密。 注意，调度
Apache DolphinScheduler 【安装部署】
前言 今天来学习一下 DolphinScheduler ，这是一个任务调度工具，现在用的比较火爆。 1、安装部署 1.0、准备工作 1.0.1、集群规划 dolphinscheduler 比较吃内存，所以尽量给 master 节点多分配一点内存，桌面和虚拟机里能关的应用程序就关了 hadoop102 master,workerhadoop103workerha
dolphinscheduler海豚调度（五）seatunnel案例
seatunnel作为新一代流行的数据集成工具，其功能非常强大且简单易用，今天演示一下如何通过dolphinscheduler创建并运行seatunnel任务 本次dolphinscheduler和seatunnel均部署在同一机器上的单机版本 1、环境配置 打开dolphinscheduler安装目录，编辑dolphinscheduler_env.sh，添加seatunnel的环境 vi
dolphinscheduler试用（一）（边用边修bug。。。。create tenant error）
（作者：陈玓玏） 前提：部署好了dolphinscheduler，部署篇见https://blog.csdn.net/weixin_39750084/article/details/136306890?spm=1001.2014.3001.5501 官方文档见：https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/guide/start/qui
在k8s上部署dolphinscheduler
（作者：陈玓玏） 一、 前提条件 已部署k8s，版本信息如下： k8s为单机部署；已部署nfs，版本如下； 二、 部署helm 以下步骤安装的是二进制版本，如果通过脚本安装，可以直接参考链接：https://helm.sh/docs/intro/install/。 1.下载helm，地址：https://github.com/helm/helm/releases，通过wget下载。
二百二十五、海豚调度器——用DolphinScheduler调度执行Flume数据采集任务
一、目的 数仓的数据源是Kafka，因此离线数仓需要用Flume采集Kafka中的数据到HDFS中 在实际项目中，不可能一直在Xshell中启动Flume任务，一是项目的Flume任务很多，二是一旦Xshell页面关闭Flume任务就会停止，这样非常不方便，因此必须在后台启动Flume任务。 所以经过测试后，发现海豚调度器也可以启动Flume任务 二、海豚调度Flume任务配置 （一
dolphinscheduler单机版部署教程
文章目录 前言一、安装准备1. 安装条件2. 安装jdk3. 安装MySQL 二、安装dolphinscheduler1. 下载并解压dolphinscheduler2. 修改配置文件2.1 修改 dolphinscheduler_env.sh 文件2.2 修改 application.yaml 文件 3. 配置mysql数据源3.1 修改MySQL安全策略3.2 查看数据库3.3 创建数据
海豚调度DolphinScheduler入门学习
DS简介： DolphinScheduler 是一款分布式的、易扩展的、高可用的数据处理平台，主要包含调度中心、元数据管理、任务编排、任务调度、任务执行和告警等模块。其技术架构基于 Spring Boot 和 Spring Cloud 技术栈，采用了分布式锁、分布式任务队列等技术确保任务高可用性。部署灵活，支持单机部署、分布式部署、容器化部署等方式。应用场景广泛，可用于大数据处理、定时
dolphinscheduler集群部署教程
文章目录 前言一、架构规划二、配置集群免密登录1. 配置root用户集群免密登录1.1 hadoop101节点操作1.2 hadoop102节点操作1.3 hadoop103节点操作 2. 创建用户2.1 hadoop101节点操作2.2 hadoop102节点操作2.3 hadoop103节点操作 三、安装准备1. 安装条件2. 安装jdk3. 安装MySQL4. zookeeper集群
DolphinScheduler-3.2.0 集群搭建
本篇文章主要记录DolphinScheduler-3.2.0 集群部署流程。 注：参考文档： DolphinScheduler-3.2.0生产集群高可用搭建_dophinscheduler3.2.0 使用说明-CSDN博客文章浏览阅读1.1k次，点赞25次，收藏23次。DolphinScheduler-3.2.0生产集群高可用搭建，DolphinScheduler原数据存储mysql设置，分布