trino-435:prune worker catalogs

2024-01-14 00:44
文章标签 worker prune trino 435 catalogs

本文主要是介绍trino-435:prune worker catalogs,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、前言

上一章节我们dynamic catalog restful API开发,其中catalog删除API仅仅在coordinator节点操作就可以了,那么woker几点的catalog是怎么与worker几点保持一致的呢?这一章节就重点介绍prune worker catalogs是如何做到的。

二、coordinator节点CatalogPruneTask类

在该类中存在如下的定时调度任务方法:

@PostConstructpublic void start(){if (enabled && !started.getAndSet(true)) {executor.scheduleWithFixedDelay(() -> {try {pruneWorkerCatalogs();}catch (Throwable e) {// ignore to avoid getting unscheduledlog.warn(e, "Error pruning catalogs");}}, updateInterval.toMillis(), updateInterval.toMillis(), MILLISECONDS);}}

下面的方法将coordinator节点中active catalogs发送给worker节点去触发prune,修剪worker节点的catalog调用的接口为:/v1/task/pruneCatalogs&#

这篇关于trino-435:prune worker catalogs的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/603363

相关文章

java线程深度解析(四)——并发模型(Master-Worker)

http://blog.csdn.net/daybreak1209/article/details/51372929 二、Master-worker ——分而治之      Master-worker常用的并行模式之一,核心思想是由两个进程协作工作,master负责接收和分配任务,worker负责处理任务,并把处理结果返回给Master进程,由Master进行汇总,返回给客

【HarmonyOS】-TaskPool和Worker的对比实践

ArkTS提供了TaskPool与Worker两种多线程并发方案,下面我们将从其工作原理、使用效果对比两种方案的差异,进而选择适用于ArkTS图片编辑场景的并发方案。 TaskPool与Worker工作原理 TaskPool与Worker两种多线程并发能力均是基于 Actor并发模型实现的。Worker主、子线程通过收发消息进行通信;TaskPool基于Worker做了更多场景化的功能封装,例

兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)

Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也随之增加。因此,从 3.0 版本开始,Apache Doris 引入了 Trino Connector 兼容框架。 Tri

php think worker:gateway

php think worker:gateway

Trino大量查询会导致HDFS namenode主备频繁切换吗?

会,且肯定会 一、背景 今天还没起床就被智能运维叫醒了,说通过namenode审计日志查看访问源ip有我们的trino集群,并且访问量比较大,起床气范了,这不很正常吗,早上一般都是跑批高峰,也不一定是我们trino的问题,必须按时上班。 到了工位联系运维,被告知也不一定是我们的trino引起的namenode主备节点切换,因为那个时间段,有很多系统会访问大数据平台,不管怎样,既然有警告就得排查,

算法训练第26天|452. 用最少数量的箭引爆气球|435. 无重叠区间|763.划分字母区间

LeetCode 452. 用最少数量的箭引爆气球 题目链接:452. 用最少数量的箭引爆气球 题目讲解:代码随想录 func findMinArrowShots(points [][]int) int {var res int = 1// 先按照第一位排序sort.Slice(points, func(i, j int)bool{return points[i][0] < points

程序员面试之nginx和apache的区别,nginx在开启时,会生成一个master进程,然后,master进程会fork多个worker子进程,最后每个用户的请求由worker的子线程处理。

Apache和Nginx最核心的区别在于 apache 是同步多进程模型,一个连接对应一个进程;而 nginx 是异步的,多个连接(万级别)可以对应一个进程。下面本篇文章就来给大家介绍一下Apache和Nginx的区别有那些,选择哪个好?希望对你们有所帮助。 AI:please wait...Nginx和Apache都是常用的Web服务器软件,它们在以下几个方面有一些区别:1. 架构和性能:N

Spark Worker原理

Master发送LaunchDriver和LaunchExecutor到Worker LaunchDriver -DriverRunner 内部使用Thread来处理Driver的启动。 1.创建Driver在本地文件系统的工作目录。 2.封装好Driver的启动Command,并通过ProcessBuilder来启动Driver。 3.Driver进程 LaunchEx

JS New Worker() 深度解析

JS New Worker() 深度解析 文章目录 一、New Worker() 是什么及为什么出现二、JS中如何使用 New Worker()1. 创建 Worker 线程2. 向 Worker 发送消息3. 接收 Worker 的消息4. 监听错误和结束事件5. 终止 Worker 三、Worker 包含哪些属性或方法 API1. 属性2

代码随想录算法训练营day30 | 贪心算法 | 452.用最少数量的箭引爆气球、435.无重叠区间、763.划分字母区间

文章目录 452.用最少数量的箭引爆气球思路 435.无重叠区间思路 763.划分字母区间思路问题的转化 总结 今天是贪心算法专题的第四天,今天的三道题目,都算是 重叠区间 问题,大家可以好好感受一下。 都属于那种看起来好复杂, 但一看贪心解法,惊呼:这么巧妙! 这种题还是属于那种,做过了也就会了,没做过就很难想出来 不过大家把如下三题做了之后, 重叠区间 基本上差不多