第29讲：Ceph集群使用RBD块存储设备与K8S的PV集成

2024-06-19 10:52
文章标签 云原生 集群 使用 k8s 集成 29 pv ceph 存储设备 rbd

本文主要是介绍第29讲：Ceph集群使用RBD块存储设备与K8S的PV集成，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 1.Ceph集群使用RBD块存储与K8S集成简介
    • 2.Ceph集群RBD块存储与K8S PV存储卷集成
      • 2.1.创建K8S集群PV使用的块存储
      • 2.2.创建K8S集群访问RBD块存储设备的认证用户
      • 2.3.将认证用户的Key存储在K8S Secret资源中
      • 2.4.在K8S集群的所有节点中安装Ceph命令
      • 2.5.创建PV及PVC资源使用RBD作为底层存储
      • 2.6.创建Pod资源挂载PV存储卷并写入数据

1.Ceph集群使用RBD块存储与K8S集成简介

RBD（Reliable Block Device）组件是一种构建在RADOS集群之上为客户端提供块设备存储接口接口的中间层，提供的块存储服务可以形成一个裸磁盘，提供格式化、映射的功能，挂载到服务器中。

这类的客户端包括虚拟化KVM和云计算OpenStack。

RBD组件支持存储空间的动态扩容，也可以借助RADOS实现快照、副本和一致性。

客户端访问RBD的方式：

  • 通过内核模块rbd.ko将块存储映射成本地的一块磁盘，例如/dev/vdbx等等，可以进行格式化和分区。
  • 通过librbd接口，KVM虚拟化就是使用这种接口。

在K8S集群中为Pod资源提供数据持久化，大致分为三种解决方案：

  • Volume
    • Volume持久化有三种类型分别是EmptyDir、HostPath、NFS。
    • Volume是K8S集群中较为简单的数据持久化方案，无需创建其他资源，直接在Pod资源编排文件中声明Volume卷，即可挂载使用。
  • PV、PVC
    • PV和PVC是一种高级类型的持久化存储费方案，PV负责与底层存储系统进行对接，PVC从PV中分配一定的资源，最后由PVC挂载到Pod中。
  • StorageClass
    • 更加高级的一种持久化存储方案，由StorageClass提供一个数据持久化资源池，当Pod需要持久化数据时，直接从StorageClass中自动创建出PV和PVC，最后挂载到Pod资源中。

无论使用哪种持久化方案，最常用的方式是通过NFS或者NAS来实现，今天通过Ceph分布式集群中的RBD块存储来实现Pod数据的持久化。

使用RBD块存储作为Pod资源数据持久化时，只有集群中某一个Node节点可以挂载一块RBD块存储设备，例如当Node1节点挂载了RBD块设备后，Node1节点中的所有Pod都可以共享这块RBD中的数据，但是其余Node节点都无法挂载这块RBD存储了。

RBD块存储设备无法跨节点使用，只有挂载RBD块存储的Node节点中的Pod资源可以使用，其余节点的Pod资源无法使用。

Ceph集群默认开启了CEPHX的认证，任何存储类型想要是有Ceph作为底层存储，都需要通过用户认证才可以正常使用。

2.Ceph集群RBD块存储与K8S PV存储卷集成

PV、PVC高级存储在K8S集群中的应用极多，与Volume集成方案类似。

大致实现步骤：

1）首先在Ceph集群中创建一个Pool资源池，专门为K8S集群创建块存储设备。

2）然后创建一个集群认证用户，用于使K8S连接到Ceph集群的块存储设备。

3）将认证用户的Key以Secret资源控制器的形式创建在集群中。

4）所有的K8S集群都需要去安装Ceph的命令。

5）在集群中创建一个PV存储，在PV的资源编排文件中配置Ceph集群块存储设备的信息。

6）创建PVC存储卷，与PV进行关联。

7）最后编写Pod资源编排文件，使用PVC作为存储卷，将块设备挂载到Pod中，实现数据持久化。

2.1.创建K8S集群PV使用的块存储

1.创建一个Pool资源池
[root@ceph-node-1 ~]# ceph osd pool create kubernetes_data 16 16
pool 'kubernetes_data' created2.在资源池中创建块存储设备
[root@ceph-node-1 ~]# rbd create --image-feature layering kubernetes_data/rbd_pv_data.img --size 10G3.查看创建的块存储设备
[root@ceph-node-1 ~]# rbd -p kubernetes_data ls
rbd_pv_data.img
rbd_volume_data.img

2.2.创建K8S集群访问RBD块存储设备的认证用户

K8S想要访问Ceph中的RBD块设备，必须通过一个认证用户才可以访问，如果没有认证用户则无法访问Ceph集群中的块设备。

命令格式：ceph auth get-or-create {用户名称} mon '{访问mon的方式}' osd '{访问osd的方式}'

[root@ceph-node-1 ~]# ceph auth get-or-create client.kubernetes mon 'profile rbd' osd 'profile rbd pool=kubernetes_data'
[client.kubernetes]key = AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A==

命令解释：创建了一个client.kubernetes名称的Ceph认证用户，访问mon的方式是以RBD块存储形式访问，访问OSD的方式也是以块存储RBD方式访问Pool资源池。

查看创建的认证用户。

[root@ceph-node-1 ~]# ceph auth list

可以看到Ceph的认证用户都是以client开头，每一个用户都有对mon和osd的访问方式。

image-20220411231844008

2.3.将认证用户的Key存储在K8S Secret资源中

将认证用户的key通过Base64进行加密，存储在K8S的Secret资源中。

1）将key通过Base64进行加密

[root@ceph-node-1 ~]# echo AQBlRVRibbqzJRAAD3lacYaxRloTVTio6e+10A== | base64
QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

2）将加密后的Key存储在Secret资源中

[root@k8s-master pv]# vim rbd-volume-secret.yaml
apiVersion: v1
kind: Secret
metadata:name: rbd-volume-secret
type: "kubernetes.io/rbd"
data:key: QVFCbFJWUmliYnF6SlJBQUQzbGFjWWF4UmxvVFZUaW82ZSsxMEE9PQo=

3）创建Secret资源

RBD的Secret要与Pod在同一Namespace下，如果不同的Namespace的Pod都需要使用RBD进行存储，则需要在每个Namespace下都进行创建。

[root@k8s-master pv]# kubectl apply -f rbd-volume-secret.yaml
secret/rbd-volume-secret created[root@k8s-master pv]# kubectl get secret
NAME                  	TYPE                                  DATA   AGE
rbd-volume-secret       kubernetes.io/rbd                     1      16s
default-token-fbknq   	kubernetes.io/service-account-token   3      60d

2.4.在K8S集群的所有节点中安装Ceph命令

不安装ceph命令将无法成功挂载块设备。

[root@k8s-master ~]# yum -y install ceph-common
[root@k8s-node1 ~]# yum -y install ceph-common
[root@k8s-node2 ~]# yum -y install ceph-common

2.5.创建PV及PVC资源使用RBD作为底层存储

在K8S集群中创建PV及PVC存储资源，主要是对PV进行了一些配置，存储底层采用Ceph集群的RBD块存储设备，PVC资源配置不需要任何变动。

1）编写资源编排文件

[root@k8s-master pv]# vim rbd-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:name: rbd-pv
spec:capacity:storage: 10GiaccessModes:- ReadWriteManyrbd:										#指定使用rbd块存储类型monitors:        						  #指定monitor地址- 192.168.20.20:6789- 192.168.20.21:6789- 192.168.20.22:6789pool: kubernetes_data						#指定使用的资源池名称image: rbd_pv_data.img						#指定使用的块存储名称user: kubernetes							#连接块存储设备的用户secretRef:								    #存储用户key的secret资源name: rbd-volume-secretfsType: ext4							    #文件系统类型persistentVolumeReclaimPolicy: RecyclestorageClassName: rbd						     #存储类型填写rbd[root@k8s-master pv]# vim rbd-pvc.yaml 
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: rbd-pvc
spec:accessModes:- ReadWriteManyresources:requests:storage: 10GistorageClassName: rbd

2）在集群中创建PV和PVC资源

1.创建资源
[root@k8s-master pv]# kubectl apply -f rbd-pv.yaml
persistentvolume/rbd-pv created
[root@k8s-master pv]# kubectl apply -f rbd-pvc.yaml
persistentvolumeclaim/rbd-pvc created2.查看资源的状态
[root@k8s-master pv]# kubectl get pv,pvc
NAME                           CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                  STORAGECLASS   REASON   AGE
persistentvolume/rbd-pv   	   10Gi       RWX            Recycle          Bound    default/rbd-pvc   rbd                     24sNAME                                 STATUS   VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/rbd-pvc        Bound    rbd-pv   		10Gi       RWX            rbd            24s

2.6.创建Pod资源挂载PV存储卷并写入数据

1）编写Pod的资源编排文件

虽然PV底层使用的RBD作为存储，但是Pod使用PVC的方式无任何变化。

[root@k8s-master pv]# vim rbd-pv-pod.yaml
apiVersion: v1
kind: Pod
metadata:name: rbd-pv-pod
spec:containers:- image: nginx:1.15name: rbd-pv-podports:- name: webcontainerPort: 80protocol: TCPvolumeMounts:- name: rbd-pvcmountPath: /datavolumes:- name: rbd-pvcpersistentVolumeClaim: claimName: rbd-pvc

2）在集群中创建Pod资源

[root@k8s-master pv]# kubectl apply -f rbd-pv-pod.yaml
pod/rbd-pv-pod created[root@k8s-master pv]# kubectl get pod
NAME              READY   STATUS    RESTARTS   AGE
rbd-pv-pod        1/1     Running   0          3m16s

3）进入Pod中写入数据

[root@k8s-master pv]# kubectl exec -it rbd-pv-pod bash
root@rbd-pv-pod:/# df -hT /data 
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/rbd0      ext4  9.8G   37M  9.7G   1% /dataroot@rbd-pv-pod:/# touch /data/file{1..9}.txtroot@rbd-pv-pod:/# ls /data/
file1.txt  file2.txt  file3.txt  file4.txt  file5.txt  file6.txt  file7.txt  file8.txt	file9.txt  lost+found

任何类型的存储卷使用RBD的方式都一样，都会在Pod所在宿主机中挂载RBD块设备映射的磁盘，然后挂载到具体的Pod中，无法跨主机使用。

这篇关于第29讲：Ceph集群使用RBD块存储设备与K8S的PV集成的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1074822。

相关文章

服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2