k8s配置GlusterFS存储

2023-12-22 09:10
文章标签 配置 云原生 存储 k8s glusterfs

本文主要是介绍k8s配置GlusterFS存储，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

环境

CentOS 7.6
三台主机做 GlusterFS 存储
K8s集群环境

准备环境

# 关闭selinux
setenforce 0
sed -i 's#^SELINUX=.*#SELINUX=disabled#' /etc/selinux/config# 配置 hosts
cat >> /etc/hosts <<-EOF
192.168.0.71   node1.local
192.168.0.72   node2.local
192.168.0.73   node3.local
EOF# 分别设置主机名
hostnamectl set-hostname node1.local
hostnamectl set-hostname node2.local
hostnamectl set-hostname node3.local

安装 GlusterFS

# 先安装 gluster 源
yum install centos-release-gluster -y# 安装 glusterfs 组件
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel## 创建 glusterfs 目录
mkdir /opt/glusterd## 修改 glusterd 目录
sed -i 's#/var/lib/glusterd#/opt/glusterd#' /etc/glusterfs/glusterd.vol# 启动 glusterfs
systemctl start glusterd.service# 设置开机启动
systemctl enable glusterd.service#查看状态
systemctl status glusterd.service

配置 GlusterFS

# 开放端口
iptables -I INPUT -p tcp --dport 24007 -j ACCEPT# 创建存储目录
mkdir /opt/gfs_data# 添加节点到 集群
# 执行操作的本机不需要 probe 本机
gluster peer probe node2.local
gluster peer probe node3.local# 查看集群状态
gluster peer status

配置 volume

GlusterFS 中的 volume 的模式有很多种，包括以下几种：

  • 分布卷(默认模式)：即 DHT, 也叫 分布卷: 将文件以 hash 算法随机分布到 一台服务器节点中存储。
  • 复制模式：即 AFR, 创建 volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
  • 条带模式：即 Striped, 创建 volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 (类似 raid 0)。
  • 分布式条带模式：最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 server = 4 个节点： 是 DHT 与 Striped 的组合型。
  • 分布式复制模式：最少需要 4 台服务器才能创建。 创建 volume 时 replica 2 server = 4 个节点：是 DHT 与 AFR 的组合型。
  • 条带复制卷模式：最少需要 4 台服务器才能创建。 创建 volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。
  • 三种模式混合： 至少需要 8 台 服务器才能创建。 stripe 2 replica 2 , 每 4 个节点 组成一个 组。

这几种模式的示例图参考 GlusterFS Documentation。

因为我们只有三台主机，在此我们使用默认的分布卷模式。请勿在生产环境上使用该模式，容易导致数据丢失。

# 创建分布卷
gluster volume create k8s-volume transport tcp node1.local:/opt/gfs_data node2.local:/opt/gfs_data node3.local:/opt/gfs_data force# 查看 volume 状态
gluster volume info# 启动 分布卷
gluster volume start k8s-volume

Glusterfs 调优

# 开启 指定 volume 的配额
gluster volume quota k8s-volume enable# 限制 指定 volume 的配额
gluster volume quota k8s-volume limit-usage / 1TB# 设置 cache 大小, 默认 32MB（此处设置过大会导致挂载失败）
gluster volume set k8s-volume performance.cache-size 1GB# 设置 io 线程, 太大会导致进程崩溃
gluster volume set k8s-volume performance.io-thread-count 16# 设置 网络检测时间, 默认 42s
gluster volume set k8s-volume network.ping-timeout 10# 设置 写缓冲区的大小, 默认 1M
gluster volume set k8s-volume performance.write-behind-window-size 1024MB

Kubernetes 中使用 GlusterFS

官方的文档见https://github.com/kubernetes/examples/tree/master/staging/volumes/glusterfs. 以下用到的所有 yaml 和 json 配置文件可以在 glusterfs 中找到。注意替换其中私有镜像地址为你自己的镜像地址。

kubernetes 安装客户端

# 先安装 gluster 源
yum install centos-release-gluster -y# 在所有 k8s node 中安装 glusterfs 客户端
yum install -y glusterfs glusterfs-fuse# 配置 hosts
cat >> /etc/hosts <<-EOF
192.168.0.71   node1.local
192.168.0.72   node2.local
192.168.0.73   node3.local
EOF

因为我们 glusterfs 跟 kubernetes 集群复用主机，因为此这一步可以省去。

配置 endpoints

curl -OL https://raw.githubusercontent.com/kubernetes/examples/master/staging/volumes/glusterfs/glusterfs-endpoints.jsoncat > glusterfs-endpoints.json <<-EOF
{"kind": "Endpoints","apiVersion": "v1","metadata": {"name": "glusterfs-cluster"},"subsets": [{"addresses": [{ "ip": "192.168.0.71" }],"ports": [{ "port": 1990 }]},{"addresses": [{ "ip": "192.168.0.72" }],"ports": [{ "port": 1990 }]},{"addresses": [{ "ip": "192.168.0.73" }],"ports": [{ "port": 1990 }]}]
}
EOF# 导入 glusterfs-endpoints.json
kubectl apply -f glusterfs-endpoints.json# 查看 endpoints 信息
kubectl get endpoints

配置 service

curl -OL https://raw.githubusercontent.com/kubernetes/examples/master/staging/volumes/glusterfs/glusterfs-service.json# service.json 里面查找的是 enpointes 的名称与端口，端口默认配置为 1，我改成了 1990
cat > glusterfs-service.json <<-EOF
{"kind": "Service","apiVersion": "v1","metadata": {"name": "glusterfs-cluster"},"spec": {"ports": [{"port": 1990}]}
}
EOF# 导入 glusterfs-service.json
kubectl apply -f glusterfs-service.json# 查看 service 信息
kubectl get svc

创建测试 pod

curl -OL https://github.com/kubernetes/examples/raw/master/staging/volumes/glusterfs/glusterfs-pod.json# 编辑 glusterfs-pod.json 修改 volumes  下的 path 为上面创建的 volume 名称 ("path": "k8s-volume")
cat > glusterfs-pod.json <<-EOF
{"apiVersion": "v1","kind": "Pod","metadata": {"name": "glusterfs"},"spec": {"containers": [{"name": "glusterfs","image": "nginx","volumeMounts": [{"mountPath": "/mnt/glusterfs","name": "glusterfsvol"}]}],"volumes": [{"name": "glusterfsvol","glusterfs": {"endpoints": "glusterfs-cluster","path": "k8s-volume","readOnly": true}}]}
}
EOF# 导入 glusterfs-pod.json
kubectl apply -f glusterfs-pod.json# 查看 pods 状态
kubectl get pods# 查看 pods 所在 node
kubectl describe pods/glusterfs# 查看容器内挂载
kubectl exec glusterfs -- mount | grep gluster# 登陆 node 物理机，使用 df 可查看挂载目录
df -h

配置 PersistentVolume

PersistentVolume（PV）和 PersistentVolumeClaim（PVC）是 kubernetes 提供的两种 API 资源，用于抽象存储细节。管理员关注于如何通过 pv 提供存储功能而无需关注用户如何使用，同样的用户只需要挂载 PVC 到容器中而不需要关注存储卷采用何种技术实现。PVC 和 PV 的关系跟 pod 和 node 关系类似，前者消耗后者的资源。PVC 可以向 PV 申请指定大小的存储资源并设置访问模式。

PV 属性
  • storage 容量
  • 读写属性：分别为
    • ReadWriteOnce：单个节点读写；
    • ReadOnlyMany：多节点只读 ；
    • ReadWriteMany：多节点读写
cat > glusterfs-pv.yaml <<-EOF
apiVersion: v1
kind: PersistentVolume
metadata:name: gluster-dev-volume
spec:capacity:storage: 8GiaccessModes:- ReadWriteManyglusterfs:endpoints: "glusterfs-cluster"path: "k8s-volume"readOnly: false
EOF# 导入 PV
kubectl apply -f glusterfs-pv.yaml# 查看 pv
kubectl get pv
PVC 属性
  • 访问属性与 PV 相同
  • 容量：向 PV 申请的容量 <= PV 总容量
配置 PVC
cat > glusterfs-pvc.yaml <<-EOF
kind: PersistentVolumeClaim
apiVersion: v1
metadata:name: glusterfs-nginx
spec:accessModes:- ReadWriteManyresources:requests:storage: 8Gi
EOF# 导入 pvc
kubectl apply -f glusterfs-pvc.yaml# 查看 pvc
kubectl get pv

创建 nginx deployment 挂载 volume

cat > nginx-deployment.yaml <<-EOF
apiVersion: extensions/v1beta1
kind: Deployment
metadata:name: nginx-dm
spec:replicas: 2template:metadata:labels:name: nginxspec:containers:- name: nginximage: nginx:alpineimagePullPolicy: IfNotPresentports:- containerPort: 80volumeMounts:- name: gluster-dev-volumemountPath: "/usr/share/nginx/html"volumes:- name: gluster-dev-volumepersistentVolumeClaim:claimName: glusterfs-nginx
EOF# 导入 deployment
kubectl apply -f nginx-deployment.yaml# 查看 deployment
kubectl get pods |grep nginx-dm# 查看 挂载
kubectl exec nginx-dm-8df56c754-xwlpz -- mount | grep gluster
kubectl exec nginx-dm-8df56c754-ww6xs -- mount | grep gluster# 创建文件 测试
kubectl exec -it nginx-dm-8df56c754-xwlpz -- touch /usr/share/nginx/html/index.html
kubectl exec -it nginx-dm-8df56c754-xwlpz -- ls -lt /usr/share/nginx/html/
kubectl exec -it nginx-dm-8df56c754-ww6xs -- ls -lt /usr/share/nginx/html/# 验证 glusterfs
# 因为我们使用分布卷，所以可以看到某个节点中有文件
ls /opt/gfs_data/

参考

kubernetes gluster

其他

json2yaml

转载于:https://my.oschina.net/yx571304/blog/3043065

这篇关于k8s配置GlusterFS存储的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/523385。

相关文章

windos server2022的配置故障转移服务的图文教程

windos server2022的配置故障转移服务的图文教程

《windosserver2022的配置故障转移服务的图文教程》本文主要介绍了windosserver2022的配置故障转移服务的图文教程,以确保服务和应用程序的连续性和可用性,文中通过图文介绍的非... 目录准备环境：步骤故障转移群集是 Windows Server 2022 中提供的一种功能，用于在多个
阅读更多...
windos server2022里的DFS配置的实现

windos server2022里的DFS配置的实现

《windosserver2022里的DFS配置的实现》DFS是WindowsServer操作系统提供的一种功能,用于在多台服务器上集中管理共享文件夹和文件的分布式存储解决方案,本文就来介绍一下wi... 目录什么是DFS？优势：应用场景：DFS配置步骤什么是DFS？DFS指的是分布式文件系统（Distr
阅读更多...
关于Maven中pom.xml文件配置详解

关于Maven中pom.xml文件配置详解

《关于Maven中pom.xml文件配置详解》pom.xml是Maven项目的核心配置文件,它描述了项目的结构、依赖关系、构建配置等信息,通过合理配置pom.xml,可以提高项目的可维护性和构建效率... 目录1. POM文件的基本结构1.1 项目基本信息2. 项目属性2.1 引用属性3. 项目依赖4. 构
阅读更多...
龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

龙蜥操作系统Anolis OS-23.x安装配置图解教程(保姆级)

《龙蜥操作系统AnolisOS-23.x安装配置图解教程(保姆级)》：本文主要介绍了安装和配置AnolisOS23.2系统，包括分区、软件选择、设置root密码、网络配置、主机名设置和禁用SELinux的步骤，详细内容请阅读本文，希望能对你有所帮助... ‌AnolisOS‌是由阿里云推出的开源操作系统，旨
阅读更多...
k8s部署MongDB全过程

k8s部署MongDB全过程

《k8s部署MongDB全过程》文章介绍了如何在Kubernetes集群中部署MongoDB,包括环境准备、创建Secret、创建服务和Deployment,并通过Robo3T工具测试连接... 目录一、环境准备1.1 环境说明1.2 创建 namespace1.3 创建mongdb账号/密码二、创建Sec
阅读更多...
mysql-8.0.30压缩包版安装和配置MySQL环境过程

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址：https://d
阅读更多...
gradle安装和环境配置全过程

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i
阅读更多...
SpringCloud配置动态更新原理解析

SpringCloud配置动态更新原理解析

《SpringCloud配置动态更新原理解析》在微服务架构的浩瀚星海中,服务配置的动态更新如同魔法一般,能够让应用在不重启的情况下,实时响应配置的变更,SpringCloud作为微服务架构中的佼佼者,... 目录一、SpringBoot、Cloud配置的读取二、SpringCloud配置动态刷新三、更新@R
阅读更多...
MySQL中my.ini文件的基础配置和优化配置方式

MySQL中my.ini文件的基础配置和优化配置方式

《MySQL中my.ini文件的基础配置和优化配置方式》文章讨论了数据库异步同步的优化思路,包括三个主要方面：幂等性、时序和延迟,作者还分享了MySQL配置文件的优化经验,并鼓励读者提供支持... 目录mysql my.ini文件的配置和优化配置优化思路MySQL配置文件优化总结MySQL my.ini文件
阅读更多...
C#读取本地网络配置信息全攻略分享

C#读取本地网络配置信息全攻略分享

《C#读取本地网络配置信息全攻略分享》在当今数字化时代,网络已深度融入我们生活与工作的方方面面,对于软件开发而言,掌握本地计算机的网络配置信息显得尤为关键,而在C#编程的世界里,我们又该如何巧妙地读取... 目录一、引言二、C# 读取本地网络配置信息的基础准备2.1 引入关键命名空间2.2 理解核心类与方法
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2