Volcano v1.2版本后的资源预留实现原理

2023-12-19 12:59

本文主要是介绍Volcano v1.2版本后的资源预留实现原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 1.背景介绍       

 在Volcano v1.2版本之前,资源预留是通过Reserve action实现的。具体实现可以参考:

Volcano作业资源预留设计原理解读-云社区-华为云

        Reserve action完成资源预留。将选中的目标作业与节点进行绑定。Reserve action、elect action 以及Reservation plugin组成了资源预留机制。Reserve action必须配置在allocate action之后。Reserve action从v1.2开始已经被弃用,并且被SLA plugin替代。下面重点介绍一下SLA的方式。

2.SLA简介

        当用户将作业应用到Volcano时,他们可能需要为作业添加一些特定的约束,例如,最长的 Pending 时间旨在防止作业饿死。这些约束可以看作是Volcano和用户之间达成的服务水平协议(SLA)。因此提供了 sla 插件来接收和实现单个作业和整个集群的 SLA 设置。

        SLA的全称是Service Level agreement。用户向volcano提交job的时候,可能会给job增加特殊的约束,例如最长等待时间(JobWaitingTime)。这些约束条件可以视为用户与volcano之间的服务协议。SLA plugin可以为单个作业/整个集群接收或者发送SLA参数。

3.场景

        根据业务的需要用户可以在自己的集群定制SLA相关参数。例如实时性服务要求较高的集群,JobWaitingTime可以设置的尽量小。批量计算作业为主的集群,JobWaitingTime可以设置较大。具体SLA的参数以及参数的优化需要结合具体的业务以及相关的性能测评结果。

4.实现原理

1.在 sla 插件中,sla-waiting-time提供了实现作业资源预留的参数:sla-waiting-time一个作业应该停留的最长时间Pendinginqueue状态而不被分配。结束sla-waiting-time后,sla插件将作业设置为inqueue立即enqueue生效。然后sla插件会锁定预先分配给该作业的 Pod 的空闲资源allocate,即使该作业Ready尚未完成。这样slaplugin就实​​现了大job的选举和资源预留,从而替代了v1.1.0中的electreserveaction。

2.sla-waiting-time可以为一个作业设置参数,也可以为集群中的所有作业设置参数。

对于一项工作,用户可以在工作注释中设置它们,格式如下:

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  annotations:
    sla-waiting-time: 1h2m3s

对于所有作业,用户可以通过以下格式在插件参数中设置sla-waiting-time字段:slavolcano-scheduler-configmap

  actions: "enqueue, allocate, backfill"
  tiers:
  - plugins:
    - name: priority
    - name: gang
    - name: sla
      arguments:
        sla-waiting-time: 1h2m3s

3.sla插件返回 3 个回调函数:JobEnqueueableFnJobPipelinedFnJobOrderFn:

(1)JobEnqueueableFnPermit当状态中的作业等待时间Pending长于 时返回sla-waiting-time,并且作业将enqueue立即执行inqueue,而不管其他插件返回RejectAbstain拒绝该作业inqueue

(2)JobPipelinedFnPermit当状态中的作业等待时间inqueue长于时返回sla-waiting-time,并且作业将Pipelined立即成为状态,而不管其他插件返回RejectAbstain拒绝该作业Pipelined。通过这种方式allocate,即使作业尚未就绪,action 也会为作业的 pod 保留资源。

(3)JobOrderFn调整此作业在enqueue&allocate操作的等待队列中的顺序。越接近 sla-waiting-time那个job的等待时间,这个job在plugin中的得分就越高JobOrderFnsla这样这个job就有更大的概率成为front int priority queue,这意味着它可以接触到更多的空闲资源,并且有更高的优先级被inqueue和分配。

5.SLA插件的执行流程图

                                

 6.参考资料:

Actions | Volcano

Plugins | Volcano

volcano/sla-plugin.md at master · volcano-sh/volcano · GitHub

这篇关于Volcano v1.2版本后的资源预留实现原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/512259

相关文章

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

opencv图像处理之指纹验证的实现

《opencv图像处理之指纹验证的实现》本文主要介绍了opencv图像处理之指纹验证的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、简介二、具体案例实现1. 图像显示函数2. 指纹验证函数3. 主函数4、运行结果三、总结一、

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

基于SpringBoot实现文件秒传功能

《基于SpringBoot实现文件秒传功能》在开发Web应用时,文件上传是一个常见需求,然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余,此时可以使用文件秒传技术通过识别重复... 目录前言文件秒传原理代码实现1. 创建项目基础结构2. 创建上传存储代码3. 创建Result类4.

Tomcat版本与Java版本的关系及说明

《Tomcat版本与Java版本的关系及说明》:本文主要介绍Tomcat版本与Java版本的关系及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Tomcat版本与Java版本的关系Tomcat历史版本对应的Java版本Tomcat支持哪些版本的pythonJ

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.