K8S CronJob

2024-08-31 12:44
文章标签 云原生 k8s cronjob

本文主要是介绍K8S CronJob,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

K8S 知识目录

Kubernetes (K8s) 中的 CronJob 是一种特殊的作业(Job),它允许根据给定的时间表(cron 格式)来运行作业。这对于需要定期执行的任务(如数据库备份、日志清理、发送报告等)非常有用。

一、组成部分

CronJob 主要由以下几个部分组成:

  • metadata:包含 CronJob 的名称、命名空间等元数据。
  • spec:CronJob 的规格说明,包括调度计划(schedule)、作业模板(jobTemplate)、并发策略(concurrencyPolicy)、成功完成作业的保留策略(successfulJobsHistoryLimit)和失败作业的保留策略(failedJobsHistoryLimit)等。

spec字段详解
在CronJob的spec字段中,包含了以下几个关键子字段:
1. schedule:必需字段,用于指定任务的调度计划,采用Cron表达式语法。Cron表达式由五个或六个字段组成,分别代表分钟、小时、日、月、星期几(可选年份)。
2. jobTemplate:必需字段,定义了要执行的任务的模板。这个模板通常是一个Pod模板,包含了任务所需的容器镜像、命令、环境变量等配置。
3. concurrencyPolicy:可选字段,用于指定并发策略。它定义了当上一个任务还在运行时,如何处理新任务的执行。有三种策略可供选择:Allow(允许并发执行)、Forbid(禁止并发执行,新任务将被跳过)、Replace(如果任务正在执行,则终止当前任务并启动新任务)。
4. suspend:可选字段,用于暂停或恢复CronJob的执行。如果设置为true,则后续所有执行都会被挂起。
5. successfulJobsHistoryLimitfailedJobsHistoryLimit:可选字段,用于指定保留成功和失败任务历史记录的数量。默认情况下,分别设置为3和1。

二、调度计划(Schedule)

调度计划使用 cron 表达式来定义作业的执行时间。cron 表达式由六或七个字段组成,但 Kubernetes CronJob 只使用前五个字段,分别代表:

  • 分钟(0 - 59)
  • 小时(0 - 23)
  • 日期中的月份(1 - 12)
  • 月份中的日期(1 - 31)
  • 星期中的日期(0 - 7,其中 0 和 7 都代表星期日)

例如,“* * * * *” 表示每分钟执行一次,而 “0 0 * * *” 表示每天午夜执行一次。

三、作业模板(JobTemplate)

在Kubernetes (K8s) 中,CronJob 的 jobTemplate 部分定义了当Cron表达式触发时应该运行什么样的作业(Job)。jobTemplate 实际上是一个作业的模板,它包含了作业(Job)规格的所有必要信息,比如要运行的容器、环境变量、资源限制等。
jobTemplate 字段位于 CronJob 资源的 spec 部分下,并且它自身也是一个嵌套的 JobTemplateSpec 类型。这个类型几乎与 Job 资源的 spec 部分相同,只是名称上有所区别。
下面是一个包含 jobTemplate 的 CronJob 示例:

apiVersion: batch/v1  
kind: CronJob  
metadata:  name: my-cronjob  
spec:  schedule: "*/1 * * * *" # 每分钟的每一秒触发(注意:这实际上是不准确的,CronJob的schedule不支持秒级精度,这里仅为示例)  jobTemplate:  spec:  template:  spec:  containers:  - name: my-container  image: my-image:latest  command: ["/bin/sh", "-c"]  args: ["echo 'Hello from the Kubernetes CronJob!'; date"]  restartPolicy: OnFailure # 作业中的Pod失败时重启策略

注意:上面的Cron表达式"*/1 * * * “实际上并不符合CronJob的标准用法,因为CronJob不支持秒级精度。使用它只是为了演示如何在schedule字段中放置Cron表达式。在真实场景中,应该使用标准的Cron表达式,如”/5 * * * *"(每5分钟执行一次)。

四、并发策略(Concurrency Policy)

在Kubernetes (K8s) 中,CronJob 的并发策略(Concurrency Policy)决定了当 CronJob 触发但前一个作业(Job)仍在运行时,系统应如何处理新的作业执行。CronJob 支持以下三种并发策略:

  1. Allow(允许)
    这是默认策略。当 CronJob 触发且前一个作业尚未完成时,新的作业将被允许并发执行。这意呀着在任何给定的时间点,可能会有多个该 CronJob 创建的作业正在运行。
    适用于那些可以并行执行而不互相干扰的任务,或者任务的执行时间相对较短,并发执行不会对系统造成过大压力的场景。
  2. Forbid(禁止)
    当 CronJob 触发但前一个作业仍在运行时,新的作业执行将被跳过,即不会启动新的作业。
    这有助于避免同时运行多个相同类型的作业,从而可能导致的资源争用或数据冲突问题。
    适用于那些需要独占资源或顺序执行的任务,以及作业执行时间较长,同时运行多个实例可能会导致系统负载过高的场景。
  3. Replace(替换)
    如果前一个作业仍在运行,则当 CronJob 触发时,将终止当前正在运行的作业并启动一个新的作业。
    这允许最新的作业实例始终运行,而旧的作业实例则被新的实例替换。
    适用于那些需要确保总是运行最新作业实例的场景,或者作业的执行结果对时间敏感,需要尽快获得最新结果的场景。

在定义 CronJob 时,可以通过设置 spec.concurrencyPolicy 字段来指定所需的并发策略。例如:

apiVersion: batch/v1  
kind: CronJob  
metadata:  name: my-cronjob  
spec:  schedule: "0 */2 * * *" # 每两小时执行一次  concurrencyPolicy: Forbid # 设置并发策略为禁止  jobTemplate:  spec:  # ... 作业模板定义 ...

在这个例子中,my-cronjob CronJob 的并发策略被设置为 Forbid,这意味着如果前一个作业尚未完成,新的作业将不会被启动。
需要注意的是,并发策略只适用于由同一个 CronJob 创建的作业。如果集群中存在多个 CronJob,它们创建的作业之间总是允许并发运行的,除非通过其他机制(如命名空间、资源配额等)进行限制。
此外,CronJob 的并发策略与作业的重启策略(restartPolicy)是独立的。重启策略决定了作业中的 Pod 在失败或完成时应该如何处理,而并发策略则决定了当 CronJob 触发时如何处理新的作业执行。

五、应用场景

CronJob适用于需要定期执行的任务场景,如:

  • 定时备份数据库或文件系统。
  • 定时清理临时文件或日志。
  • 定时发送报告或警报。
  • 定时拉取或更新数据(如镜像、代码库等)。

六、示例

以下是一个CronJob的示例YAML文件,它定义了一个每分钟执行一次的作业:

apiVersion: batch/v1  
kind: CronJob  
metadata:  name: hello-cronjob  
spec:  schedule: "*/1 * * * *" # 每分钟执行一次  concurrencyPolicy: Allow # 允许并发执行  successfulJobsHistoryLimit: 5 # 保留5个成功的历史记录  failedJobsHistoryLimit: 3 # 保留3个失败的历史记录  jobTemplate:  spec:  template:  spec:  containers:  - name: hello  image: busybox  command:  - /bin/sh  - -c  - date; echo "Hello from the Kubernetes CronJob!"  restartPolicy: OnFailure # 作业中的Pod失败时重启策略

示例说明

  1. apiVersion:指定了使用的API版本,这里是batch/v1。
  2. kind:指明了这是一个CronJob资源。
  3. metadata.name:CronJob的名称,这里是hello-cronjob。
  4. spec.schedule:Cron表达式,"*/1 * * * *"表示每分钟执行一次。
  5. spec.concurrencyPolicy:并发策略设置为Allow,允许并发执行作业。
  6. spec.successfulJobsHistoryLimit和spec.failedJobsHistoryLimit:分别设置了成功和失败作业的历史记录保留数量。
  7. spec.jobTemplate.spec.template.spec:定义了作业模板,包括要运行的容器、命令等。这里使用busybox镜像,并执行一个打印当前日期和消息的shell命令。
  8. spec.jobTemplate.spec.template.spec.restartPolicy:作业中的Pod失败时的重启策略,这里设置为OnFailure,表示在Pod失败时尝试重启。

注意事项

  • CronJob的调度时间遵循Cron表达式语法,需要根据实际需求正确配置。
  • 需要考虑作业和CronJob的失败重试策略和并发策略,以免产生意外的行为或资源消耗。
  • CronJob的执行依赖于Kubernetes集群中的controller-manager组件,因此需要确保该组件正常运行。
  • CronJob的并发策略仅适用于由同一个CronJob创建的作业,不同CronJob创建的作业之间总是允许并发运行的。

这篇关于K8S CronJob的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123941

相关文章

90、k8s之secret+configMap

一、secret配置管理 配置管理: 加密配置:保存密码,token,其他敏感信息的k8s资源 应用配置:我们需要定制化的给应用进行配置,我们需要把定制好的配置文件同步到pod当中容器 1.1、加密配置: secret: [root@master01 ~]# kubectl get secrets ##查看加密配置[root@master01 ~]# kubectl get se

K8S(Kubernetes)开源的容器编排平台安装步骤详解

K8S(Kubernetes)是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述: 安装步骤: 安装Docker:K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master:在集群中选择一台主机作为Master节点,安装K8S的控制平面组件,如AP

【Kubernetes】K8s 的安全框架和用户认证

K8s 的安全框架和用户认证 1.Kubernetes 的安全框架1.1 认证:Authentication1.2 鉴权:Authorization1.3 准入控制:Admission Control 2.Kubernetes 的用户认证2.1 Kubernetes 的用户认证方式2.2 配置 Kubernetes 集群使用密码认证 Kubernetes 作为一个分布式的虚拟

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节,Flexus X实例的促销力度非常大,特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求,一定不要错过这个机会。赶紧去看看吧! 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体

云原生之高性能web服务器学习(持续更新中)

高性能web服务器 1 Web服务器的基础介绍1.1 Web服务介绍1.1.1 Apache介绍1.1.2 Nginx-高性能的 Web 服务端 2 Nginx架构与安装2.1 Nginx概述2.1.1 Nginx 功能介绍2.1.2 基础特性2.1.3 Web 服务相关的功能 2.2 Nginx 架构和进程2.2.1 架构2.2.2 Ngnix进程结构 2.3 Nginx 模块介绍2.4

用Cri-O,Sealos CLI,Kubeadm方式部署K8s高可用集群

3.6 Cri-O方式部署K8s集群 注意:基于Kubernetes基础环境 3.6.1 所有节点安装配置cri-o [root@k8s-all ~]# VERSION=1.28[root@k8s-all ~]# curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable.repo https://download.opensu

培训第九周(部署k8s基础环境)

一、前期系统环境准备 1、关闭防火墙与selinux  [root@k8s-master ~]# systemctl stop firewalld[root@k8s-master ~]# systemctl disable firewalldRemoved symlink /etc/systemd/system/multi-user.target.wants/firewalld.servi

k8s 存储(PV、PVC、SC、本地存储、NFS)

存储持久化相关三个概念: PersistentVolume (PV) 是对具体存储资源的描述,比如NFS、Ceph、GlusterFS等,通过PV可以访问到具体的存储资源;PersistentVolumeClaim (PVC) Pod想要使用具体的存储资源需要对接到PVC,PVC里会定义好Pod希望使用存储的属性,通过PVC再去申请合适的存储资源(PV),匹配到合适的资源后PVC和PV会进行绑定

k8s调度(pod亲和、反亲和、污点、容忍度)

pod亲和性 针对对象为Pod,目的是实现,新建Pod和目标Pod调度到一起,在同一个Node上。 示例: apiVersion: v1kind: Podmetadata:name: testpod01labels:app: myapp01env: test1spec:containers:- name: testpod01image: nginx:1.23.2---apiVersio

k8s API资源对象

API资源对象Deployment 最小的资源是pod,deployment是多个pod的集合(多个副本实现高可用、负载均衡等)。 使用yaml文件来配置、部署资源对象。 Deployment YAML示例: vi  ng-deploy.yaml apiVersion: apps/v1kind: Deploymentmetadata:labels:app: myngname: ng-de