Volcano v1.2版本后的资源预留实现原理

2023-12-19 12:59

本文主要是介绍Volcano v1.2版本后的资源预留实现原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 1.背景介绍       

 在Volcano v1.2版本之前,资源预留是通过Reserve action实现的。具体实现可以参考:

Volcano作业资源预留设计原理解读-云社区-华为云

        Reserve action完成资源预留。将选中的目标作业与节点进行绑定。Reserve action、elect action 以及Reservation plugin组成了资源预留机制。Reserve action必须配置在allocate action之后。Reserve action从v1.2开始已经被弃用,并且被SLA plugin替代。下面重点介绍一下SLA的方式。

2.SLA简介

        当用户将作业应用到Volcano时,他们可能需要为作业添加一些特定的约束,例如,最长的 Pending 时间旨在防止作业饿死。这些约束可以看作是Volcano和用户之间达成的服务水平协议(SLA)。因此提供了 sla 插件来接收和实现单个作业和整个集群的 SLA 设置。

        SLA的全称是Service Level agreement。用户向volcano提交job的时候,可能会给job增加特殊的约束,例如最长等待时间(JobWaitingTime)。这些约束条件可以视为用户与volcano之间的服务协议。SLA plugin可以为单个作业/整个集群接收或者发送SLA参数。

3.场景

        根据业务的需要用户可以在自己的集群定制SLA相关参数。例如实时性服务要求较高的集群,JobWaitingTime可以设置的尽量小。批量计算作业为主的集群,JobWaitingTime可以设置较大。具体SLA的参数以及参数的优化需要结合具体的业务以及相关的性能测评结果。

4.实现原理

1.在 sla 插件中,sla-waiting-time提供了实现作业资源预留的参数:sla-waiting-time一个作业应该停留的最长时间Pendinginqueue状态而不被分配。结束sla-waiting-time后,sla插件将作业设置为inqueue立即enqueue生效。然后sla插件会锁定预先分配给该作业的 Pod 的空闲资源allocate,即使该作业Ready尚未完成。这样slaplugin就实​​现了大job的选举和资源预留,从而替代了v1.1.0中的electreserveaction。

2.sla-waiting-time可以为一个作业设置参数,也可以为集群中的所有作业设置参数。

对于一项工作,用户可以在工作注释中设置它们,格式如下:

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
  annotations:
    sla-waiting-time: 1h2m3s

对于所有作业,用户可以通过以下格式在插件参数中设置sla-waiting-time字段:slavolcano-scheduler-configmap

  actions: "enqueue, allocate, backfill"
  tiers:
  - plugins:
    - name: priority
    - name: gang
    - name: sla
      arguments:
        sla-waiting-time: 1h2m3s

3.sla插件返回 3 个回调函数:JobEnqueueableFnJobPipelinedFnJobOrderFn:

(1)JobEnqueueableFnPermit当状态中的作业等待时间Pending长于 时返回sla-waiting-time,并且作业将enqueue立即执行inqueue,而不管其他插件返回RejectAbstain拒绝该作业inqueue

(2)JobPipelinedFnPermit当状态中的作业等待时间inqueue长于时返回sla-waiting-time,并且作业将Pipelined立即成为状态,而不管其他插件返回RejectAbstain拒绝该作业Pipelined。通过这种方式allocate,即使作业尚未就绪,action 也会为作业的 pod 保留资源。

(3)JobOrderFn调整此作业在enqueue&allocate操作的等待队列中的顺序。越接近 sla-waiting-time那个job的等待时间,这个job在plugin中的得分就越高JobOrderFnsla这样这个job就有更大的概率成为front int priority queue,这意味着它可以接触到更多的空闲资源,并且有更高的优先级被inqueue和分配。

5.SLA插件的执行流程图

                                

 6.参考资料:

Actions | Volcano

Plugins | Volcano

volcano/sla-plugin.md at master · volcano-sh/volcano · GitHub

这篇关于Volcano v1.2版本后的资源预留实现原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/512259

相关文章

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档(如Word、Excel、PPT)是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一:WebView + Office Onl

C# foreach 循环中获取索引的实现方式

《C#foreach循环中获取索引的实现方式》:本文主要介绍C#foreach循环中获取索引的实现方式,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、手动维护索引变量二、LINQ Select + 元组解构三、扩展方法封装索引四、使用 for 循环替代

Spring Security+JWT如何实现前后端分离权限控制

《SpringSecurity+JWT如何实现前后端分离权限控制》本篇将手把手教你用SpringSecurity+JWT搭建一套完整的登录认证与权限控制体系,具有很好的参考价值,希望对大家... 目录Spring Security+JWT实现前后端分离权限控制实战一、为什么要用 JWT?二、JWT 基本结构

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络