FairScheduler源码队列饥饿

2024-06-16 20:08

本文主要是介绍FairScheduler源码队列饥饿,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

小于最低资源保障量的队列,呈饥饿状态。

 protected Resource resToPreempt(FSLeafQueue sched, long curTime) {long minShareTimeout = sched.getMinSharePreemptionTimeout();long fairShareTimeout = sched.getFairSharePreemptionTimeout();Resource resDueToMinShare = Resources.none();Resource resDueToFairShare = Resources.none();if (curTime - sched.getLastTimeAtMinShare() > minShareTimeout) {  /sched.getLastTimeAtMinShare(),主要他不是饥饿的就会一直更新该时间Resource target = Resources.min(RESOURCE_CALCULATOR, clusterResource,sched.getMinShare(), sched.getDemand());resDueToMinShare = Resources.max(RESOURCE_CALCULATOR, clusterResource,Resources.none(), Resources.subtract(target, sched.getResourceUsage()));}///FSleafQueuepublic void updateStarvationStats() {long now = scheduler.getClock().getTime();if (!isStarvedForMinShare()) {setLastTimeAtMinShare(now);}if (!isStarvedForFairShare()) {setLastTimeAtFairShareThreshold(now);}}/*** Is a queue being starved for its min share.*/@VisibleForTestingboolean isStarvedForMinShare() {return isStarved(getMinShare());}//是否有问题//1、最低100,当前需要120 ,desiredShare返回100,看已使用是否小于100,这个没问题//2、最低100,当前需要50,,desiredShare返回50,看已使用是否小于50,已使用为40,bug?private boolean isStarved(Resource share) {Resource desiredShare = Resources.min(FairScheduler.getResourceCalculator(),scheduler.getClusterResource(), share, getDemand());/share为最小资源 getDemand如果大于最大资源则取最大资源return Resources.lessThan(FairScheduler.getResourceCalculator(),scheduler.getClusterResource(), getResourceUsage(), desiredShare);}


这篇关于FairScheduler源码队列饥饿的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1067420

相关文章

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

SpringKafka错误处理(重试机制与死信队列)

《SpringKafka错误处理(重试机制与死信队列)》SpringKafka提供了全面的错误处理机制,通过灵活的重试策略和死信队列处理,下面就来介绍一下,具有一定的参考价值,感兴趣的可以了解一下... 目录引言一、Spring Kafka错误处理基础二、配置重试机制三、死信队列实现四、特定异常的处理策略五

Java调用C++动态库超详细步骤讲解(附源码)

《Java调用C++动态库超详细步骤讲解(附源码)》C语言因其高效和接近硬件的特性,时常会被用在性能要求较高或者需要直接操作硬件的场合,:本文主要介绍Java调用C++动态库的相关资料,文中通过代... 目录一、直接调用C++库第一步:动态库生成(vs2017+qt5.12.10)第二步:Java调用C++

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

Spring 中 BeanFactoryPostProcessor 的作用和示例源码分析

《Spring中BeanFactoryPostProcessor的作用和示例源码分析》Spring的BeanFactoryPostProcessor是容器初始化的扩展接口,允许在Bean实例化前... 目录一、概览1. 核心定位2. 核心功能详解3. 关键特性二、Spring 内置的 BeanFactory

Spring Boot整合消息队列RabbitMQ的实现示例

《SpringBoot整合消息队列RabbitMQ的实现示例》本文主要介绍了SpringBoot整合消息队列RabbitMQ的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录RabbitMQ 简介与安装1. RabbitMQ 简介2. RabbitMQ 安装Spring

如何通过Python实现一个消息队列

《如何通过Python实现一个消息队列》这篇文章主要为大家详细介绍了如何通过Python实现一个简单的消息队列,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录如何通过 python 实现消息队列如何把 http 请求放在队列中执行1. 使用 queue.Queue 和 reque

解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)

《解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)》该文章介绍了使用Redis的阻塞队列和Stream流的消息队列来优化秒杀系统的方案,通过将秒杀流程拆分为两条流水线,使用Redi... 目录Redis秒杀优化方案(阻塞队列+Stream流的消息队列)什么是消息队列?消费者组的工作方式每