K8s亲和反亲和策略

2024-03-12 09:48
文章标签 云原生 k8s 策略 反亲

本文主要是介绍K8s亲和反亲和策略,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

1. 亲和/反亲和调度策略简述

一般情况下我们部署的 Pod 是通过集群的自动调度策略来选择节点的,默认情况下调度器考虑的是资源足够,并且负载尽量平均,但是有的时候我们需要能够更加细粒度的去控制 Pod 的调度,比如我们内部的一些服务 gitlab 之类的也是跑在Kubernetes集群上的,我们就不希望对外的一些服务和内部的服务跑在同一个节点上了,担心内部服务对外部的服务产生影响;但是有的时候我们的服务之间交流比较频繁,又希望能够将这两个服务的 Pod 调度到同一个的节点上。这就需要用到 Kubernetes 里面的一个概念:亲和性和反亲和性。

亲和性有分成节点亲和性(nodeAffinity)和 Pod 亲和性(podAffinity)。

2. 节点选择器nodeSelector简介

在了解亲和性之前,我们先来了解一个非常常用的调度方式:nodeSelector。我们知道label是kubernetes中一个非常重要的概念,用户可以非常灵活的利用 label 来管理集群中的资源,比如最常见的一个就是 service 通过匹配 label 去匹配 Pod 资源,而 Pod 的调度也可以根据节点的 label 来进行调度。

我们可以通过下面的命令查看我们的 node 的 label:

kubectl get nodes --show-labels

 

们先给节点2增加一个com=liuli的标签,命令如下:

kubectl label nodes node2.hde.h3c.com  com=liuli

 

我们可以通过上面的--show-labels参数可以查看上述标签是否生效。当 node 被打上了相关标签后,在调度的时候就可以使用这些标签了,只需要在 Pod 的spec字段中添加nodeSelector字段,里面是我们需要被调度的节点的 label 即可。比如,下面的 Pod 我们要强制调度到 node02 这个节点上去,我们就可以使用 nodeSelector 来表示了:(node-selector-demo.yaml)

apiVersion: v1

kind: Pod

metadata:

  labels:

    app: nginx-pod

  name: test-nginx

spec:

  containers:

  - command:

    - sleep

    - "3600"

    image: nginx: latest

    imagePullPolicy: Always

    name: test-nginx

  nodeSelector:

    com: liuli

创建pod

kubectl create -f node-selector-demo.yaml


然后我们可以通过 describe 命令查看调度结果:

kubectl describe pod test-nginx

可以看到 Events 下面的信息,我们的 Pod 通过默认的 default-scheduler 调度器被绑定到了node2节点。不过需要注意的是nodeSelector属于强制性的,如果我们的目标节点没有可用的资源,我们的 Pod 就会一直处于 Pending 状态,这就是nodeSelector的用法。

 

通过上面的例子我们可以感受到nodeSelector的方式比较直观,但是还够灵活,控制粒度偏大,接下来我们再和大家了解下更加灵活的方式:节点亲和性(nodeAffinity)。

node亲和性策略表示pod部署到符合某些条件的node上.

3. 亲和性和反亲和性调度策略

但是在实际的生产环境中,往往我们需要根据自己的一些实际需求来控制 pod 的调度,这就需要用到 nodeAffinity(节点亲和性)、podAffinity(pod 亲和性) 以及 podAntiAffinity(pod 反亲和性)。

亲和性调度可以分成软策略和硬策略两种方式:

软策略就是如果没有满足调度要求的节点的话,pod 就会忽略这条规则,继续完成调度过程,说白了就是满足条件最好了,没有的话也无所谓了的策略

硬策略就比较强硬了,如果没有满足条件的节点的话,就不断重试直到满足条件为止,简单说就是你必须满足我的要求,不然我就不干的策略。

对于亲和性和反亲和性都有这两种规则可以设置: preferredDuringSchedulingIgnored DuringExecution和requiredDuringSchedulingIgnoredDuringExecution,前面的就是软策略,后面的就是硬策略。

4. 节点亲和性nodeAffinity案例

节点亲和性主要是用来控制 pod 要部署在哪些主机上,以及不能部署在哪些主机上的。它可以进行一些简单的逻辑组合了,不只是简单的相等匹配。

 

比如现在我们用一个 Deployment 来管理3个 pod 副本,现在我们来控制下这些 pod 的调度,如下例子:(node-affinity-demo.yaml)

apiVersion: apps/v1beta1

kind: Deployment

metadata:

  name: affinity

  labels:

    app: affinity

spec:

  replicas: 3

  revisionHistoryLimit: 15

  template:

    metadata:

      labels:

        app: affinity

        role: test

    spec:

      containers:

      - name: nginx

        image: nginx: latest

        ports:

        - containerPort: 80

          name: nginxweb

      affinity:

        nodeAffinity:

          requiredDuringSchedulingIgnoredDuringExecution:  # 硬策略

            nodeSelectorTerms:

            - matchExpressions:

              - key: kubernetes.io/hostname

                operator: NotIn

                values:

                - node3.hde.h3c.com

          preferredDuringSchedulingIgnoredDuringExecution:  # 软策略

          - weight: 1

            preference:

              matchExpressions:

              - key: com

                operator: In

                values:

                - liuli

 

上面这个 pod 首先是要求不能运行在 node03 这个节点上,如果有个节点满足com=liuli的话就优先调度到这个节点上。

创建Deployment

kubectl create -f node-affinity-demo.yaml

查看pod调度情况

kubectl get pods -l app=affinity -o wide

从结果可以看出 两个pod 被部署到了 node2,node3节点上没有部署 pod,

 

这里的匹配逻辑是 label 的值在某个列表中,现在Kubernetes提供的操作符有下面的几种:

In:label 的值在某个列表中

NotIn:label 的值不在某个列表中

Gt:label 的值大于某个值

Lt:label 的值小于某个值

Exists:某个 label 存在

DoesNotExist:某个 label 不存在

如果nodeSelectorTerms下面有多个选项的话,满足任何一个条件就可以了;如果matchExpressions有多个选项的话,则必须同时满足这些条件才能正常调度 POD。

 

5. Pod亲和性podAffinity案例

 

pod 亲和性主要解决 pod 可以和哪些 pod 部署在同一个拓扑域中的问题(其中拓扑域用主机标签实现,可以是单个主机,也可以是多个主机组成的 cluster、zone 等等),而 pod 反亲和性主要是解决 pod 不能和哪些 pod 部署在同一个拓扑域中的问题,它们都是处理的 pod 与 pod 之间的关系,比如一个 pod 在一个节点上了,那么我这个也得在这个节点,或者你这个 pod 在节点上了,那么我就不想和你待在同一个节点上。

由于我们这里只有一个集群,并没有区域或者机房的概念,所以我们这里直接使用主机名来作为拓扑域,把 pod 创建在同一个主机上面。

还是针对上面的资源对象,我们来测试下 pod 的亲和性:(pod-affinity-demo.yaml)

apiVersion: apps/v1beta1

kind: Deployment

metadata:

  name: affinity

  labels:

    app: affinity

spec:

  replicas: 3

  revisionHistoryLimit: 15

  template:

    metadata:

      labels:

        app: affinity

        role: test

    spec:

      containers:

      - name: nginx

        image: nginx:latest

        ports:

        - containerPort: 80

          name: nginxweb

      affinity:

        podAffinity:

          requiredDuringSchedulingIgnoredDuringExecution:  # 硬策略

          - labelSelector:

              matchExpressions:

              - key: app

                operator: In

                values:

                - nginx-pod

            topologyKey: kubernetes.io/hostname

上面这个例子中的 pod 需要调度到某个指定的主机上,至少有一个节点上运行了这样的 pod:这个 pod 有一个app=nginx-pod的 label。

 

我们查看有标签app= nginx-pod的 pod 列表:

kubectl get pods -o wide -l app=nginx-pod

 

把上面的 test- nginx 和 affinity 这个 Deployment 都删除,然后创建 affinity 这个资源

kubectl delete -f node-selector-demo.yaml

kubectl create -f pod-affinity-demo.yaml

kubectl get pods -o wide -l app=affinity

 

执行结果如下

 

所有pod处于Pending状态了,这是因为现在没有一个节点上面拥有nginx-pod这个 label 的 pod,而上面我们的调度使用的是硬策略,所以就没办法进行调度

重新部署test- nginx pod,然后部署affinity Deployment,即可发现affinity状态均为ready

 

kubectl create -f node-selector-demo.yaml

kubectl delete -f pod-affinity-demo.yaml

kubectl create -f pod-affinity-demo.yaml

kubectl get pods -o wide -l app=affinity

执行结果如下

 

 

6. Pod反亲和性podAntiAffinity案例

pod 反亲和性则是反着来的,比如一个节点上运行了某个 pod,那么我们的 pod 则希望被调度到其他节点上去,同样我们把上面的 podAffinity 直接改成 podAntiAffinity,(pod-antiaffinity-demo.yaml)

apiVersion: apps/v1beta1

kind: Deployment

metadata:

  name: affinity

  labels:

    app: affinity

spec:

  replicas: 3

  revisionHistoryLimit: 15

  template:

    metadata:

      labels:

        app: affinity

        role: test

    spec:

      containers:

      - name: nginx

        image: nginx: latest

        ports:

        - containerPort: 80

          name: nginxweb

      affinity:

        podAntiAffinity:

          requiredDuringSchedulingIgnoredDuringExecution:  # 硬策略

          - labelSelector:

              matchExpressions:

              - key: app

                operator: In

                values:

                - nginx-pod

            topologyKey: kubernetes.io/hostname

如果一个节点上面有一个app= nginx-pod这样的 pod 的话,那么我们的 pod 就别调度到这个节点上面来.

 

这篇关于K8s亲和反亲和策略的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/800882

相关文章

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式(Singleton Pattern) 确保一个类只有一个实例,并提供一个全局访问点。 示例代码: class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)

90、k8s之secret+configMap

一、secret配置管理 配置管理: 加密配置:保存密码,token,其他敏感信息的k8s资源 应用配置:我们需要定制化的给应用进行配置,我们需要把定制好的配置文件同步到pod当中容器 1.1、加密配置: secret: [root@master01 ~]# kubectl get secrets ##查看加密配置[root@master01 ~]# kubectl get se

K8S(Kubernetes)开源的容器编排平台安装步骤详解

K8S(Kubernetes)是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述: 安装步骤: 安装Docker:K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master:在集群中选择一台主机作为Master节点,安装K8S的控制平面组件,如AP

【Kubernetes】K8s 的安全框架和用户认证

K8s 的安全框架和用户认证 1.Kubernetes 的安全框架1.1 认证:Authentication1.2 鉴权:Authorization1.3 准入控制:Admission Control 2.Kubernetes 的用户认证2.1 Kubernetes 的用户认证方式2.2 配置 Kubernetes 集群使用密码认证 Kubernetes 作为一个分布式的虚拟

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节,Flexus X实例的促销力度非常大,特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求,一定不要错过这个机会。赶紧去看看吧! 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体

缓存策略使用总结

缓存是提高系统性能的最简单方法之一。相对而言,数据库(or NoSQL数据库)的速度比较慢,而速度却又是致胜的关键。 如果使用得当,缓存可以减少相应时间、减少数据库负载以及节省成本。本文罗列了几种缓存策略,选择正确的一种会有很大的不同。缓存策略取决于数据和数据访问模式。换句话说,数据是如何写和读的。例如: 系统是写多读少的吗?(例如基于时间的日志)数据是否是只写入一次并被读取多次?(例如用户配

Flink任务重启策略

概述 Flink支持不同的重启策略,以在故障发生时控制作业如何重启集群在启动时会伴随一个默认的重启策略,在没有定义具体重启策略时会使用该默认策略。如果在工作提交时指定了一个重启策略,该策略会覆盖集群的默认策略默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。配置参数 restart-strategy 定义了哪个策略被使用。常用的重启策略: 固定间隔 (Fixe

云原生之高性能web服务器学习(持续更新中)

高性能web服务器 1 Web服务器的基础介绍1.1 Web服务介绍1.1.1 Apache介绍1.1.2 Nginx-高性能的 Web 服务端 2 Nginx架构与安装2.1 Nginx概述2.1.1 Nginx 功能介绍2.1.2 基础特性2.1.3 Web 服务相关的功能 2.2 Nginx 架构和进程2.2.1 架构2.2.2 Ngnix进程结构 2.3 Nginx 模块介绍2.4

Java后端微服务架构下的API限流策略:Guava RateLimiter

Java后端微服务架构下的API限流策略:Guava RateLimiter 大家好,我是微赚淘客返利系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿! 在微服务架构中,API限流是保护服务不受过度使用和拒绝服务攻击的重要手段。Guava RateLimiter是Google开源的Java库中的一个组件,提供了简单易用的限流功能。 API限流概述 API限流通过控制请求的速率来防止

用Cri-O,Sealos CLI,Kubeadm方式部署K8s高可用集群

3.6 Cri-O方式部署K8s集群 注意:基于Kubernetes基础环境 3.6.1 所有节点安装配置cri-o [root@k8s-all ~]# VERSION=1.28[root@k8s-all ~]# curl -L -o /etc/yum.repos.d/devel:kubic:libcontainers:stable.repo https://download.opensu