kubernetes存储 -- Volumes管理（一）emptyDir卷、hostpath卷、NFS卷

2024-03-29 03:48
文章标签 kubernetes 管理 存储 nfs emptydir hostpath volumes

本文主要是介绍kubernetes存储 -- Volumes管理（一）emptyDir卷、hostpath卷、NFS卷，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

介绍

  • 容器中的文件在磁盘上是临时存放的,这给容器中运行的特殊应用程序带来一些问题。首先,当容器崩溃时,kubelet 将重新启动容器,容器中的文件将会丢失,因为容器会以干净的状态重建。其次,当在一个 Pod 中同时运行多个容器时,常常需要在这些容器之间共享文件。 Kubernetes 抽象出 Volume 对象来解决这两个问题。
  • Kubernetes 卷具有明确的生命周期,与包裹它的 Pod 相同。 因此,卷比 Pod 中运行的任何容器的存活期都长,在容器重新启动时数据也会得到保留。 当然,默认情况下当一个 Pod 不再存在时,卷也将不再存在，我们通也也可以做卷的持久化。也许更重要的是,Kubernetes 可以支持许多类型的卷,Pod 也能同时使用任意数量的卷。
  • 卷不能挂载到其他卷,也不能与其他卷有硬链接。 Pod 中的每个容器必须独立地指定每个卷的挂载位置。
  • 实质上就是把数据和镜像进行解耦，进行存储。
  • Kubernetes 支持下列类型的卷:
    • awsElasticBlockStore 、azureDisk、azureFile、cephfs、cinder、configMap、csi
    • downwardAPI、emptyDir、fc (fibre channel)、flexVolume、flocker
    • gcePersistentDisk、gitRepo (deprecated)、glusterfs、hostPath、iscsi、local、
    • nfs、persistentVolumeClaim、projected、portworxVolume、quobyte、rbd
    • scaleIO、secret、storageos、vsphereVolume

emptyDir卷

  • emptyDir卷

    • 当 Pod 指定到某个节点上时,首先创建的是一个 emptyDir 卷,并且只要 Pod 在该节点上运行,卷就一直存在。 就像它的名称表示的那样,卷最初是空的。 尽管Pod 中的容器挂载 emptyDir 卷的路径可能相同也可能不同,但是这些容器都可以读写 emptyDir 卷中相同的文件。 当 Pod 因为某些原因被从节点上删除时,emptyDir 卷中的数据也会永久删除。

  • emptyDir 的使用场景:

    • 缓存空间,例如基于磁盘的归并排序。
    • 为耗时较长的计算任务提供检查点,以便任务能方便地从崩溃前状态恢复执行。
    • 在 Web 服务器容器服务数据时,保存内容管理器容器获取的文件。

  • 默认情况下, emptyDir 卷存储在支持该节点所使用的介质上;这里的介质可以是磁盘或 SSD 或网络存储,这取决于您的环境。 但是,您可以将 emptyDir.medium 字段设置为 “Memory”,以告诉 Kubernetes 为您安装 tmpfs(基于内存的文件系统)。虽然tmpfs 速度非常快,但是要注意它与磁盘不同。 tmpfs 在节点重启时会被清除,并且您所写入的所有文件都会计入容器的内存消耗,受容器内存限制约束。

示例：

apiVersion: v1
kind: Pod
metadata:name: vol1
spec:containers:- name: vm1image: busyboxplus    command: ["sleep", "300"]volumeMounts:- mountPath: /cachename: cache-volume		//挂载- name: vm2image: nginxvolumeMounts:- mountPath: /usr/share/nginx/html			//挂载到nginx发布页面name: cache-volume		//挂载volumes:- name: cache-volume			//卷名称emptyDir:medium: Memory		//可以不指定使用内存，这两行可以省略sizeLimit: 100Mi//卷被一个pod的多个容器挂载到了不同的路径，但是他们数据是同步的                        

[root@server2 vol]# kubectl apply -f vol1.yml 
pod/vol1 created[root@server2 vol]# kubectl get pod -o wide
NAME                        READY   STATUS    RESTARTS   AGE     IP               NODE      NOMINATED NODE   READINESS GATES
my-nginx-7f45d597d5-9hk7h   1/1     Running   0          2m37s   10.244.141.221   server3   <none>           <none>
vol1                        2/2     Running   0          31s     10.244.22.21     server4   <none>           <none>
[root@server2 vol]# curl 10.244.22.21
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.19.0</center>
</body>		//说明服务是没有问题的

他们之间共享网络栈，而且共享卷，目前是空卷，所以我们去创建数据。

[root@server2 vol]# kubectl exec -it vol1 -c vm1 -- sh		//登进pod的vm容器
Defaulting container name to vm1.
Use 'kubectl describe pod/vol1 -n default' to see all of the containers in this pod.
/ # cd cache/
/cache # ls
/cache # echo woaini > index.html		/在容器一的挂载目录创建文件
/cache # 
[root@server2 vol]# curl 10.244.22.21
woaini

却可以通过容器二的nginx服务访问到了。说明通过卷在做数据共享。

我们的卷使用的是物理内存，直接消耗系统当中的内存量。
当前pod挂载在server4上，它的内存还有：

[root@server4 ~]# free -mtotal        used        free      shared  buff/cache   available
Mem:           1999         368         832          18         797        1445		/还有这些
Swap:             0           0           0

我们现在测试刚才设置的内存限制。

[root@server2 vol]# kubectl exec -it vol1 -c vm1 -- sh
/ # cd cache/
/cache # dd if=/dev/zero of=bigfile bs=1M count=100
100+0 records in
100+0 records out[root@server4 ~]# free -mtotal        used        free      shared  buff/cache   available
Mem:           1999         377         723         118         897        1336		/少了100M
Swap:             0           0           0/cache # dd if=/dev/zero of=bigfile bs=1M count=200		/在截取200M
300+0 records in
300+0 records out[root@server4 ~]# free -mtotal        used        free      shared  buff/cache   available
Mem:           1999         374         526         318        1098        1139		/少了200M
Swap:             0

竟然也能成功，我们不是设置了最多100M吗。

/cache # command terminated with exit code 137		这是我们的pod突然退出了^C[root@server2 vol]# kubectl get pod 
NAME                        READY   STATUS    RESTARTS   AGE
my-nginx-7f45d597d5-9hk7h   1/1     Running   0          15m
vol1                        0/2     Evicted   0          12m[root@server4 ~]# free -mtotal        used        free      shared  buff/cache   available
Mem:           1999         352         850          17         796        1462		/内存归还了
Swap:             0
  • 可以看到文件超过sizeLimit,则一段时间后(1-2分钟)会被kubelet evict掉。
  • 之所以不是“立即”被evict,是因为kubelet是定期进行检查的,这里会有一个时间差。
  • 一段时间后 kubelet 识别到它已经超出了内存限制，就把她驱逐了。

但是为什么这样的操作可以执行哪，我们发现刚才的操作已经跳过了k8s的监管，这就说明在使用内存当作卷的存储时，是具有风险的，做的限制也不是事时的。

  • emptydir缺点:
    • 不能及时禁止用户使用内存。虽然过1-2分钟kubelet会将Pod挤出,但是这个时间内,其实
      对node还是有风险的;
    • 影响kubernetes调度,因为empty dir并不涉及node的resources,这样会造成Pod“偷偷”
      使用了node的内存,但是调度器并不知晓;
    • 用户不能及时感知到内存不可用

hostPath卷

  • hostPath 卷能将主机节点文件系统上的文件或目录挂载到您的 Pod 中。 虽然这不是大多数 Pod
    需要的,但是它为一些应用程序提供了强大的逃生舱。

可以用于监控容器，把主机的文件挂接到pod中，通过pod中的监控进行识别。

  • hostPath 的一些用法有:

    • 运行一个需要访问 Docker 引擎内部机制的容器,挂载 /var/lib/docker 路径。
    • 在容器中运行 cAdvisor （监控）时,以 hostPath 方式挂载 /sys。
    • 允许 Pod 指定给定的 hostPath 在运行 Pod 之前是否应该存在,是否应该创建以及应该以
      什么方式存在。

  • 除了必需的 path 属性之外,用户可以选择性地为 hostPath 卷指定 type。

在这里插入图片描述

  • 当使用这种类型的卷时要小心,因为:
    • 具有相同配置(例如从 podTemplate 创建)的多个 Pod 会由于节点上文件的不同而在不同
      节点上有不同的行为。
    • 当 Kubernetes 按照计划添加资源感知的调度时,这类调度机制将无法考虑由 hostPath 使
      用的资源。
    • 基础主机上创建的文件或目录只能由 root 用户写入。您需要在 特权容器 中以 root 身份运
      行进程,或者修改主机上的文件权限以便容器能够写入 hostPath 卷。

示例:

[root@server2 vol]# vim vol1.yml 
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: nginxname: test-containervolumeMounts:- mountPath: /usr/share/nginx/html			/挂载到这里name: test-volumevolumes:- name: test-volumehostPath:path: /data			/映射宿主机的data目录type: DirectoryOrCreate		/没有就创建

[root@server3 ~]# ll -d /data
ls: cannot access /data: No such file or directo
[root@server4 ~]# ll -d /data
ls: cannot access /data: No such file or directo

当前我们的结点上是都没/data 这个目录的。

[root@server2 vol]# kubectl apply -f vol1.yml 
pod/test-pd created[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          59s   10.244.141.223   server3   <none>           <none>
/调度到了server3上[root@server3 ~]# ll -d /data
drwxr-xr-x 2 root root 6 Jul  2 11:02 /data		/创建了

[root@server3 data]# echo woaini >index.html		/创建页面
[root@server3 data]# ll
total 4
-rw-r--r-- 1 root root 7 Jul  2 11:06 index.html[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          6s    10.244.141.224   server3   <none>           <none>
[root@server2 vol]# curl 10.244.141.224
woaini		/就可以访问到了

我们现在在server4上手动创建 /data 目录，并编辑一个页面：

[root@server4 ~]# mkdir /data
[root@server4 ~]# cd /data/
[root@server4 data]# echo 666 > index.html

然后修改yaml文件，选择调度的结点在server4上：

apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:nodeSelector:kubernetes.io/hostname: server4		//这里containers:- image: nginxname: test-containervolumeMounts:- mountPath: /usr/share/nginx/htmlname: test-volumevolumes:- name: test-volumehostPath:path: /datatype: DirectoryOrCreate

[root@server2 vol]# kubectl apply -f vol1.yml 
kubec	get	podpod/test-pd created
[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          4s    10.244.22.23   server4   <none>           <none>
[root@server2 vol]# curl 10.244.22.23
666

现在访问的却是server4上的页面，我们只是改变了调度的结点，它却连页面都改变了，这就说明这种卷的方式会受宿主机的影响，有干扰。
那我们怎样让数据一致哪？就可以使用nfs类型的卷。

NFS卷

  • nfs 卷能将 NFS (网络文件系统) 挂载到您的 Pod 中，让多个结点挂载一个存储。 不像 emptyDir 那样会在删除 Pod 的同时也会被删除，nfs 卷的内容在删除 Pod 时会被保存，卷只是被卸载掉了。 这意味着 nfs 卷可以被预先填充数据，并且这些数据可以在 Pod 之间"传递"。
[root@server1 ~]# yum install nfs-utils -y	/安装工具
[root@server1 ~]# mkdir /nfsdata			/建立nfs数据目录
[root@server1 ~]# vim /etc/exports
/nfsdata	*(rw,sync)				/将目录共享出去
[root@server1 ~]# chmod 777 /nfsdata/
[root@server1 ~]# systemctl enable --now nfs			/启动服务
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@server1 ~]# cd /nfsdata/
[root@server1 nfsdata]# echo 88888 > index.html		/编辑一个页面
[root@server1 ~]# showmount -e	
Export list for server1:
/nfsdata *		/共享出去了

然后去各个结点安装nfs的支持：

[root@server3 ~]# yum insatll nfs-utils -y
[root@server4 ~]# yum insatll nfs-utils -y

[root@server4 data]# mount 172.25.254.1:/nfsdata /mnt/
[root@server4 data]# df
Filesystem            1K-blocks     Used Available Use% Mounted on
/dev/mapper/rhel-root  17811456  4220508  13590948  24% /
devtmpfs                1011516        0   1011516   0% /dev
tmpfs                   1023608        0   1023608   0% /dev/shm
tmpfs                   1023608    17532   1006076   2% /run
tmpfs                   1023608        0   1023608   0% /sys/fs/cgroup
/dev/sda1               1038336   135224    903112  14% /boot
tmpfs                    204724        0    204724   0% /run/user/
172.25.254.1:/nfsdata  17811456 12813440   4998016  72% /mnt		/可以挂载了[root@server4 data]# umount /mnt/


[root@server2 vol]# vim vol1.yml 
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:containers:- image: nginxname: test-containervolumeMounts:- mountPath: /usr/share/nginx/htmlname: test-volumevolumes:- name: test-volume nfs: 		/设置类型为nfsserver: 172.25.254.1				/指定ip和目录path: /nfsdata[root@server2 vol]# kubectl apply -f  vol1.yml
pod/test-pd created
[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP               NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          7s    10.244.141.225   server3   <none>           <none>
[root@server2 vol]# curl 10.244.141.225
88888

调度到server4上：

[root@server2 vol]# vim vol1.yml 
apiVersion: v1
kind: Pod
metadata:name: test-pd
spec:nodeSelector:kubernetes.io/hostname: server4			//指定标签containers:- image: nginxname: test-containervolumeMounts:- mountPath: /usr/share/nginx/htmlname: test-volumevolumes:- name: test-volume nfs: server: 172.25.254.1path: /nfsdata

[root@server2 vol]# kubectl apply -f vol1.yml 
pod/test-pd created
[root@server2 vol]# kubectl get pod -owide
NAME      READY   STATUS    RESTARTS   AGE   IP             NODE      NOMINATED NODE   READINESS GATES
test-pd   1/1     Running   0          6s    10.244.22.24   server4   <none>           <none>
[root@server2 vol]# curl 10.244.22.24
88888

看出不论pod运行在那个结点，数据都是一致的。

这篇关于kubernetes存储 -- Volumes管理（一）emptyDir卷、hostpath卷、NFS卷的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/857525。

相关文章

使用JavaScript操作本地存储

使用JavaScript操作本地存储

《使用JavaScript操作本地存储》这篇文章主要为大家详细介绍了JavaScript中操作本地存储的相关知识,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以参考一下... 目录本地存储：localStorage 和 sessionStorage基本使用方法1. localStorage
阅读更多...
SpringBoot使用minio进行文件管理的流程步骤

SpringBoot使用minio进行文件管理的流程步骤

《SpringBoot使用minio进行文件管理的流程步骤》MinIO是一个高性能的对象存储系统,兼容AmazonS3API,该软件设计用于处理非结构化数据,如图片、视频、日志文件以及备份数据等,本文... 目录一、拉取minio镜像二、创建配置文件和上传文件的目录三、启动容器四、浏览器登录 minio五、
阅读更多...
IDEA中的Kafka管理神器详解

IDEA中的Kafka管理神器详解

《IDEA中的Kafka管理神器详解》这款基于IDEA插件实现的Kafka管理工具,能够在本地IDE环境中直接运行,简化了设置流程,为开发者提供了更加紧密集成、高效且直观的Kafka操作体验... 目录免安装：IDEA中的Kafka管理神器！简介安装必要的插件创建 Kafka 连接第一步：创建连接第二步：选
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注，收藏不迷路💖 Kubernetes的PodSecurityPolicy（PSP）是一个关键的安全特性，它在Pod创建之前实施安全策略，确保P
阅读更多...
软考系统规划与管理师考试证书含金量高吗？

软考系统规划与管理师考试证书含金量高吗？

2024年软考系统规划与管理师考试报名时间节点： 报名时间：2024年上半年软考将于3月中旬陆续开始报名 考试时间：上半年5月25日到28日，下半年11月9日到12日 分数线：所有科目成绩均须达到45分以上（包括45分）方可通过考试 成绩查询：可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间：预计在11月左右 证书领取时间：一般在考试成绩公布后3~4个月，各地领取时间有所不同
阅读更多...
安全管理体系化的智慧油站开源了。

安全管理体系化的智慧油站开源了。

AI视频监控平台简介 AI视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程，实现芯片、算法、应用的全流程组合，从而大大减少企业级应用约95%的开发成本。用户只需在界面上进行简单的操作，就可以实现全视频的接入及布控。摄像头管理模块用于多种终端设备、智能设备的接入及管理。平台支持包括摄像头等终端感知设备接入，为整个平台提
阅读更多...
K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述： 安装步骤： 安装Docker：K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如AP
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2