搭建NFS服务器，部署k8s集群，并在k8s中使用NFS作为持久化储存

2024-04-08 09:36
文章标签 云原生 部署 集群 使用 服务器 搭建 k8s 持久 nfs 储存

本文主要是介绍搭建NFS服务器，部署k8s集群，并在k8s中使用NFS作为持久化储存，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

🐇明明跟你说过：个人主页

🏅个人专栏：《Kubernetes航线图：从船长到K8s掌舵者》 🏅

🔖行路有良友，便是天堂🔖

目录

一、前言

1、k8s概述

2、NFS简介

二、NFS服务器搭建

1、准备NFS 服务器

2、搭建NFS服务

三、安装k8s集群

1、环境准备

2、禁用防火墙和SELinux

3、设置时间同步 

4、关闭swap交换分区 

5、修改hosts文件

6、修改机器内核参数

7、配置阿里repo源

8、安装container

9、修改containerd配置文件

10、设置container开机自启动

11、设置服务的端点地址

12、安装docker

13、添加docker镜像加速器

14、配置软件源

15、安装kubeadm、kubelet、kubectl

16、设置kubelet开机自启动

17、上传离线镜像包

18、导入镜像

19、设置容器运行时

20、初始化Master节点

21、设置容器运行时

22、导入镜像

23、将Work节点加入到集群

24、查看集群状态 

25、为Work节点设置标签

26、安装网络插件calico

27、安装calico

28、查看Pod状态

四、在k8s集群中使用nfs

1、安装nfs驱动

2、编写yaml文件

3、创建Pod

五、测试数据持久化

1、创建首页文件

2、访问测试

一、前言

1、k8s概述

 Kubernetes单词起源于希腊语, 是“舵手”或者“领航员、飞行员”的意思。

Kubernetes（简称K8s）的前世今生可以追溯到谷歌（Google）内部的一个项目，它起源于2003年，当时谷歌正面临着不断增长的应用程序和服务的管理挑战。这个项目最初被称为"Borg"，是一个早期的容器编排系统。Borg 的成功经验成为 Kubernetes 开发的契机。

 有关k8s起源的介绍，请参考《初识K8s之前世今生、架构、组件、前景》这篇文章

​

Kubernetes的优点包括可移植性、可伸缩性和扩展性。它使用轻型的YAML清单文件实现声明性部署方法，对于应用程序更新，无需重新构建基础结构。管理员可以计划和部署容器，根据需要扩展容器并管理其生命周期。借助Kubernetes的开放源代码API，用户可以通过首选编程语言、操作系统、库和消息传递总线来构建应用程序，还可以将现有持续集成和持续交付（CI/CD）工具集成。

2、NFS简介

NFS，即网络文件系统（Network File System），是一种用于在计算机系统之间共享文件和目录的协议。NFS最初由Sun公司开发，目前已经成为全球广泛使用的网络文件系统之一，无论是在企业内部网络还是在云计算环境中。

NFS允许远程计算机像访问本地文件一样访问和操作远程文件，从而方便了多台计算机之间的文件共享和协作。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。NFS不仅适用于Linux与Unix之间实现文件共享，也能实现Linux与Windows间的文件共享功能。

NFS服务器可以让PC将网络中的NFS服务器共享的目录挂载到本地端的文件系统中，这样，从本地端的系统来看，那个远程主机的目录就好像是自己的一个磁盘分区一样，使用上相当便利。

NFS的应用场景非常广泛，它可以用于办公环境，实现文件服务器的高可用性，保证数据的可靠传输和处理，提高工作效率；对于大型企业来说，NFS可以提供集中式的文件存储和管理，简化文件管理流程，降低运营成本。

二、NFS服务器搭建

1、准备NFS 服务器

准备一台Linux服务器，虚拟机或物理机都可以，操作系统Ubuntu或centos，这里选择Centos

2、搭建NFS服务

安装 nfs-utils 软件包。

[root@nfsserver ~]# yum install nfs-utils -y

创建共享目录

[root@nfsserver ~]# mkdir /data/nfs-k8s -p

配置nfs权限

[root@nfsserver ~]# vim /etc/exports

 添加如下内容

/data/nfs-k8s *(rw,no_root_squash)

关闭防火墙并禁用SELinux

[root@nfsserver ~]# systemctl stop firewalld && setenforce 0

 启动nfs服务

[root@nfsserver ~]# systemctl start nfs

为数据目录添加读写权限

[root@nfsserver ~]# chmod 666 /data/ -R

使nfs配置生效

[root@nfsserver ~]# exportfs -arv

至此，nfs服务器已搭建完成

三、安装k8s集群

这里我们安装的k8s只有一台master一台node，而在实际生产环境中，master节点和node节点必须要有多台组成高可用，这里为了节省资源，我们每个角色只用了一台

1、环境准备

准备至少2台服务器，虚拟机或服务器都可以，资源配置如下

2、禁用防火墙和SELinux

在两台机器上都要执行

关闭防火墙并禁止开机自启动

[root@master ~]# systemctl stop firewalld && systemctl disable firewalld

[root@node ~]# systemctl stop firewalld && systemctl disable firewalld 

 关闭SELinux

[root@master ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@master ~]# setenforce 0
[root@master ~]# getenforce
Permissive

[root@node ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@node ~]# setenforce 0
[root@node ~]# getenforce
Permissive 

3、设置时间同步 

[root@master ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
[root@master ~]# date
Tue Mar 19 14:10:22 CST 2024

[root@node ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
[root@node ~]# date
Tue Mar 19 14:10:22 CST 2024 

4、关闭swap交换分区 

[root@master ~]# swapoff -a

[root@node ~]# swapoff -a 

5、修改hosts文件

[root@master ~]# vi /etc/hosts

# 添加如下两行内容

192.168.40.110 master
192.168.40.111 node

[root@node ~]# vi /etc/hosts

# 添加如下两行内容

192.168.40.110 master
192.168.40.111 node

6、修改机器内核参数

[root@master ~]# modprobe br_netfilter
[root@master ~]# cat > /etc/sysctl.d/k8s.conf <<EOF
> net.bridge.bridge-nf-call-ip6tables = 1
> net.bridge.bridge-nf-call-iptables = 1
> net.ipv4.ip_forward = 1
> EOF
[root@master ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

[root@node ~]# modprobe br_netfilter
[root@node ~]# cat > /etc/sysctl.d/k8s.conf <<EOF
> net.bridge.bridge-nf-call-ip6tables = 1
> net.bridge.bridge-nf-call-iptables = 1
> net.ipv4.ip_forward = 1
> EOF
[root@node ~]# sysctl -p /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1 

7、配置阿里repo源

[root@master ~]# yum install yum-utils device-mapper-persistent-data lvm2  -y

[root@master ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

[root@node ~]# yum install yum-utils device-mapper-persistent-data lvm2 -y 

[root@node ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

8、安装container

[root@master ~]# yum install  containerd.io -y

 [root@node ~]# yum install  containerd.io -y

9、修改containerd配置文件

[root@master ~]# mkdir -p /etc/containerd
[root@master ~]# containerd config default > /etc/containerd/config.toml
[root@master ~]# vim /etc/containerd/config.toml

#将SystemdCgroup = false修改为SystemdCgroup = true

[root@node ~]# mkdir -p /etc/containerd
[root@node ~]# containerd config default > /etc/containerd/config.toml
[root@node ~]# vim /etc/containerd/config.toml

#将SystemdCgroup = false修改为SystemdCgroup = true

10、设置container开机自启动

[root@master ~]# systemctl enable containerd  --now

[root@node ~]# systemctl enable containerd  --now 

11、设置服务的端点地址

[root@master ~]# cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF

[root@node ~]# cat > /etc/crictl.yaml <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF 

12、安装docker

[root@master ~]# yum install  docker-ce  -y

[root@master ~]# systemctl enable docker --now

[root@node ~]# yum install  docker-ce  -y

[root@node ~]# systemctl enable docker --now

13、添加docker镜像加速器

[root@master docker]# tee /etc/docker/daemon.json <<-'EOF'
> {
>   "registry-mirrors": ["https://ofcqsr1y.mirror.aliyuncs.com"]
> }
> EOF

[root@master docker]# sudo systemctl daemon-reload
[root@master docker]# sudo systemctl restart docker

[root@node docker]# tee /etc/docker/daemon.json <<-'EOF'
> {
>   "registry-mirrors": ["https://ofcqsr1y.mirror.aliyuncs.com"]
> }
> EOF

[root@node docker]# sudo systemctl daemon-reload
[root@node docker]# sudo systemctl restart docke  

14、配置软件源

[root@master ~]# vim /etc/yum.repos.d/kubernetes.repo
# 添加如下内容

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0

[root@node ~]# vim /etc/yum.repos.d/kubernetes.repo
# 添加如下内容

[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0

15、安装kubeadm、kubelet、kubectl

[root@master ~]# yum install kubelet-1.28.2 kubeadm-1.28.2 kubectl-1.28.2 -y

[root@node ~]# yum install kubelet-1.28.2 kubeadm-1.28.2 kubectl-1.28.2 -y 

16、设置kubelet开机自启动

[root@master ~]# systemctl enable kubelet

 [root@node ~]# systemctl enable kubelet

17、上传离线镜像包

离线镜像包我已经放到个人主页的资源中，大家可以自行下载

18、导入镜像

[root@master ~]# ctr -n=k8s.io images import k8s-1-28.tar.gz

[root@master ~]# ctr -n=k8s.io images import k8s-1-28-etcd.tar.gz

19、设置容器运行时

[root@master ~]# crictl config runtime-endpoint /run/containerd/containerd.sock

20、初始化Master节点

[root@master ~]# kubeadm init --kubernetes-version=1.28.2  --apiserver-advertise-address=192.168.40.110  --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.244.0.0/16

[root@master ~]#   mkdir -p $HOME/.kube
[root@master ~]#   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]#   sudo chown $(id -u):$(id -g) $HOME/.kube/config 

查看节点状态

[root@master ~]# kubectl get node
NAME     STATUS     ROLES           AGE   VERSION
master   NotReady   control-plane   66s   v1.28.2 

21、设置容器运行时

[root@node ~]# crictl config runtime-endpoint /run/containerd/containerd.sock

22、导入镜像

[root@node ~]# ctr -n=k8s.io images import k8s-1-28-etcd.tar.gz

[root@node ~]# ctr -n=k8s.io images import k8s-1-28.tar.gz 

23、将Work节点加入到集群

在Master节点上生成token

[root@master ~]# kubeadm token create --print-join-command

将生成的密钥考到node节点执行

[root@node ~]# kubeadm join 192.168.40.110:6443 --token 8zx14z.br9wctj9shxb08sq --discovery-token-ca-cert-hash sha256:6559345665c6beb70a9da42c2de6b85fc41f61d3dc3c527be3f7cc4629c503ab 

24、查看集群状态 

[root@master ~]# kubectl get node
NAME     STATUS     ROLES           AGE   VERSION
master   NotReady   control-plane   10m   v1.28.2
node     NotReady   <none>          5s    v1.28.2

25、为Work节点设置标签

 [root@master ~]# kubectl label nodes node node-role.kubernetes.io/work=work

#再次查看

[root@master ~]# kubectl get node
NAME     STATUS     ROLES           AGE   VERSION
master   NotReady   control-plane   10m   v1.28.2
node     NotReady    work                 5s    v1.28.2

26、安装网络插件calico

calico介绍

  • Calico是一个开源的网络和网络安全解决方案，专为容器化环境设计，旨在提供网络连接和安全策略管理功能。它基于BGP协议，实现了一个纯三层网络方案，能够与Kubernetes、AWS、OpenStack等云平台良好地集成。
  • Calico的核心功能包括网络连接、网络策略和安全性。通过使用BGP路由协议，Calico能够在所有节点上通过Linux Kernel实现高效的vRouter进行数据转发。每个vRouter都会将在本节点上运行的容器的路由信息广播到整个Calico网络，并自动设置到达其他节点的路由转发规则。这种设计确保了所有容器之间的数据流量都是通过IP路由的方式完成互联互通的。

27、安装calico

[root@master ~]# curl -L -O https://raw.githubusercontent.com/projectcalico/calico/v3.25.0/manifests/calico.yaml 

[root@master ~]# kubectl  apply -f calico.yaml

28、查看Pod状态

[root@master ~]# kubectl get pod -A 
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-658d97c59c-fbrgn   1/1     Running   0          5m31s
kube-system   calico-node-qd6v2                          1/1     Running   0          5m31s
kube-system   calico-node-s9khc                          1/1     Running   0          5m31s
kube-system   coredns-66f779496c-l6nqx                   1/1     Running   0          19m
kube-system   coredns-66f779496c-n7jn6                   1/1     Running   0          19m
kube-system   etcd-master                                1/1     Running   0          19m
kube-system   kube-apiserver-master                      1/1     Running   0          19m
kube-system   kube-controller-manager-master             1/1     Running   5          19m
kube-system   kube-proxy-7wbhh                           1/1     Running   0          9m15s
kube-system   kube-proxy-bb47r                           1/1     Running   0          19m
kube-system   kube-scheduler-master                      1/1     Running   5          19m

四、在k8s集群中使用nfs

1、安装nfs驱动

在集群的两个节点上分别执行

yum install nfs-utils -y
systemctl enable nfs --now

2、编写yaml文件

[root@master ~]# vim nfs.yaml
apiVersion: v1
kind: Pod
metadata:name: test-nfs-volume
spec:containers:- name: test-nfsimage: nginximagePullPolicy: IfNotPresentports:- containerPort: 80protocol: TCPvolumeMounts:- name: nfs-volumesmountPath: /usr/share/nginx/htmlvolumes:- name: nfs-volumesnfs:path: /data/nfs-k8sserver: 192.168.40.132

这段配置文件的解释如下： 

apiVersion 和 kind

apiVersion: v1  
kind: Pod

  • apiVersion: v1 表示使用的是 Kubernetes API 的第一个版本。
  • kind: Pod 表示这个资源对象是一个 Pod。

metadata

metadata:  name: test-nfs-volume

  • metadata 包含了关于这个 Pod 的元数据。
  • name: test-nfs-volume 给这个 Pod 设置了一个唯一的名称。

spec
spec 字段定义了 Pod 的期望状态。

containers

containers:  
- name: test-nfs  image: nginx  imagePullPolicy: IfNotPresent  ports:  - containerPort: 80  protocol: TCP  volumeMounts:  - name: nfs-volumes  mountPath: /usr/share/nginx/html

  • containers 字段定义了 Pod 中运行的容器列表。
  • name: test-nfs 是容器的名称。
  • image: nginx 指定了容器使用的镜像。
  • imagePullPolicy: IfNotPresent 表示如果本地没有镜像，则尝试从镜像仓库拉取。
  • ports 字段定义了容器监听的端口。
  • containerPort: 80 指定容器监听的端口为 80。
  • protocol: TCP 表示使用 TCP 协议。
  • volumeMounts 字段定义了容器内部挂载卷的路径。
  • name: nfs-volumes 引用下面定义的卷的名称。
  • mountPath: /usr/share/nginx/html 指定了卷在容器内的挂载路径。

volumes

volumes:  
- name: nfs-volumes  nfs:  path: /data/nfs-k8sserver: 192.168.40.132

  • volumes 字段定义了 Pod 中可以使用的卷列表。
  • name: nfs-volumes 给卷设置了一个名称。
  • nfs 字段定义了 NFS 卷的属性。
  • path: /data/nfs-k8s 指定了 NFS 服务器上共享的路径。
  • server: 192.168.40.132 指定了 NFS 服务器的 IP 地址。

3、创建Pod

在master节点上执行

[root@master ~]# kubectl  apply -f nfs.yaml

五、测试数据持久化

1、创建首页文件

在nfs服务器上，cd到 /data/nfs-k8s 目录

[root@nfsserver nfs-k8s]# echo "hello nfs" > index.html

添加权限

[root@nfsserver nfs-k8s]# chmod 644 index.html

2、访问测试

在k8s master节点上执行

查看pod IP

[root@master ~]# kubectl get pod -owide

访问测试

[root@master ~]# curl 10.244.167.134

此处可以看到我们刚刚创建的文件的内容，证明k8s调用nfs作为持久化存储成功

至此，NFS服务器的搭建与k8s中的使用测试完成 

💕💕💕每一次的分享都是一次成长的旅程，感谢您的陪伴和关注。希望这些关于Kubernetes的文章能陪伴您走过技术的一段旅程，共同见证成长和进步！😺😺😺

🧨🧨🧨让我们一起在技术的海洋中探索前行，共同书写美好的未来！！！   

这篇关于搭建NFS服务器，部署k8s集群，并在k8s中使用NFS作为持久化储存的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/885219。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2