本文主要是介绍Kubernetes集群安装、配置glusterfs文件系统,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
环境介绍:
3台Centos 7.4系统节点,已经部署好Kubernetes,同时复用这3台机器作为gluster存储节点:
host | IP | K8s role |
g1-nasp | 12.12.10.11 | master + node |
g3-nasp | 12.12.10.13 | node |
g4-nasp | 12.12.10.14 | node |
安装、配置glusterfs:
在物理主机上采用yum安装的方式,步骤如下:
1 在每台物理机上分别安装gluster源及相关组件:
$ sudo yum install -y centos-release-gluster
$ sudo yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
2 在每台物理机上分别启动gluster服务,并设置开机启动:
$ sudo systemctl start glusterd.service
$ sudo systemctl enable glusterd.service
3 在任意一台物理机上(如g1-nasp)配置,将3个节点加入到集群中:
$ sudo gluster peer probe g1-nasp
peer probe: success. Probe on localhost not needed
$ sudo gluster peer probe g3-nasp
peer probe: success.
$ sudo gluster peer probe g4-nasp
peer probe: success.
可以看到3个节点结果都显示peer probe:success。
4 在任意一个节点(如g4-nasp)查看集群状态:
$ sudo gluster peer status
在g4-nasp上可以观察到两个peer。
5 在3个节点分别创建数据存储目录,以home目录下的glusterfs/data为例:
$ mkdir -p ~/glusterfs/data
6 创建glusterfs磁盘(只需要在一个节点上执行即可),以创建striped模式的磁盘为例,其他模式请参考:CentOS 7 安装 GlusterFS
sudo gluster volume create k8s-volume stripe 3 g1-nasp:/home/shuai/glusterfs/data g3-nasp:/home/shuai/glusterfs/data g4-nasp:/home/shuai/glusterfs/data force
此时,文件将会切分为3块,分别存储到各个节点。示意图如下(图片来源:http://www.cnblogs.com/jicki/p/5801712.html)
如上图,一个名为k8s-volume的volume就创建成功了!
7 启动k8s-volume,同样在一个节点执行:
$ sudo gluster volume start k8s-volume
8 查看volume状态:
$ sudo gluster volume info
9 glusterfs性能调优请参考:Glusterfs调优
至此,glusterfs文件系统就安装、配置完成了。如果在物理主机访问,需要在客户端安装glusterfs和glusters-fuse,并且挂载到物理主机的文件系统。
$ sudo yum install -y glusterfs glusterfs-fuse
$ sudo mkdir -p /opt/gfsmnt
$ sudo mount -t glusterfs g1-nasp:k8s-volume /opt/gfsmnt/
df查看挂载状态:
$ sudo df -h
Kubernetes配置使用glusterfs:
官方文档对配置过程进行了介绍:https://github.com/kubernetes/examples/blob/master/staging/volumes/glusterfs/README.md
以下过程可以在kubernetes集群中任意一个可以执行kubectl的节点操作!
1 配置endpoints:
$ curl -O https://raw.githubusercontent.com/kubernetes/kubernetes/master/examples/volumes/glusterfs/glusterfs-endpoints.json
注意修改其中的ip为集群的实际ip,port任意,不冲突即可。
$ kubectl create -f glusterfs-endpoints.json
查看endpoints:
$ kubectl get ep
2 配置PersistentVolume:
有关pv和pvc可以参考:Kubernetes的的 Persistent Volumes
创建glusterfs-pv.yaml文件,指定storage容量和读写属性,如:
apiVersion: v1
kind: PersistentVolume
metadata:name: pv001
spec:capacity:storage: 20GiaccessModes:- ReadWriteManyglusterfs:endpoints: "glusterfs-cluster"path: "k8s-volume"readOnly: false
然后执行:
$ kubectl create -f glusterfs-pv.yaml
可以查看pv:
$ kubectl get pv
3 配置PersistentVolumeClaim:
创建glusterfs-pvc.yaml文件,指定请求资源大小,如:
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: pvc001
spec:accessModes:- ReadWriteManyresources:requests:storage: 8Gi
然后执行:
$ kubectl create -f glusterfs-pvc.yaml
4 在deployment中挂载pvc:
以创建nginx,把pvc挂载到容器内的/usr/share/nginx/html文件夹为例:
nginx_deployment.yaml文件如下
apiVersion: extensions/v1beta1
kind: Deployment
metadata: name: nginx-dm
spec: replicas: 1template: metadata: labels: name: nginx spec: containers: - name: nginx image: nginxports: - containerPort: 80volumeMounts:- name: storage001mountPath: "/usr/share/nginx/html"volumes:- name: storage001persistentVolumeClaim:claimName: pvc001
然后执行:
$ kubectl create -f nginx_deployment.yaml
接下来,可以查看是否挂载成功。
首先查看deployment
$ kubectl get pods |grep nginx-dm
查看挂载:
$ kubectl exec -it nginx-dm-1224537537-r26sp -- df -h |grep k8s-volume
创建文件:
$ kubectl exec -it nginx-dm-1224537537-r26sp -- touch /usr/share/nginx/html/123.txt
查看文件属性:
$ kubectl exec -it nginx-dm-1224537537-r26sp -- ls -lt /usr/share/nginx/html/123.txt
-rw-r--r-- 1 root root 0 Mar 28 10:49 /usr/share/nginx/html/123.txt
此时在3台物理主机上都可以看到123.txt文件。
参考:
1. http://www.cnblogs.com/jicki/p/5801712.html
2. https://jimmysong.io/kubernetes-handbook/practice/using-glusterfs-for-persistent-storage.html
这篇关于Kubernetes集群安装、配置glusterfs文件系统的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!