本文主要是介绍学习笔记六:ceph介绍以及初始化配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
k8s对接ceph
- ceph是一种开源的分布式的存储系统,包含以下几种存储类型:
- 块存储(rbd)
- 文件系统cephfs
- 对象存储
- 分布式存储的优点:
- Ceph核心组件介绍
- 安装Ceph集群初始化
- 配置Ceph安装源
- 安装基础软件包
- 安装ceph集群
- 安装ceph-deploy
- 创建monitor节点
- 修改ceph配置文件
- 配置初始monitor、收集所有的密钥
- 部署osd服务
- 创建ceph文件系统
ceph是一种开源的分布式的存储系统,包含以下几种存储类型:
块存储(rbd)
块是一个字节序列(例如,512字节的数据块)。 基于块的存储接口是使用旋转介质(如硬盘,CD,软盘甚至传统的9轨磁带)存储数据的最常用方法;Ceph块设备是精简配置,可调整大小并存储在Ceph集群中多个OSD条带化的数据。
- Ceph块设备利用RADOS功能,如快照,复制和一致性。 Ceph的RADOS块设备(RBD)使用内核模块或librbd库与OSD进行交互;Ceph的块设备为内核模块或QVM等KVM以及依赖libvirt和QEMU与Ceph块设备集成的OpenStack和CloudStack等基于云的计算系统提供高性能和无限可扩展性。
- 可以使用同一个集群同时运行Ceph RADOS Gateway,CephFS文件系统和Ceph块设备。
- linux系统中,ls /dev/下有很多块设备文件,这些文件就是我们添加硬盘时识别出来的;
- rbd就是由Ceph集群提供出来的块设备。可以这样理解,sda是通过数据线连接到了真实的硬盘,而rbd是通过网络连接到了Ceph集群中的一块存储区域,往rbd设备文件写入数据,最终会被存储到Ceph集群的这块区域中;
总结:块设备可理解成一块硬盘,用户可以直接使用不含文件系统的块设备,也可以将其格式化成特定的文件系统,由文件系统来组织管理存储空间,从而为用户提供丰富而友好的数据操作支持。
文件系统cephfs
- eph文件系统(CephFS)是一个符合POSIX标准的文件系统,它使用Ceph存储集群来存储其数据。 Ceph文件系统使用与Ceph块设备相同的Ceph存储集群系统。
- 用户可以在块设备上创建xfs文件系统,也可以创建ext4等其他文件系统,Ceph集群实现了自己的文件系统来组织管理集群的存储空间,用户可以直接将Ceph集群的文件系统挂载到用户机上使用,Ceph有了块设备接口,在块设备上完全可以构建一个文件系统,那么Ceph为什么还需要文件系统接口呢?
主要是因为应用场景的不同,Ceph的块设备具有优异的读写性能,但不能多处挂载同时读写,目前主要用在OpenStack上作为虚拟磁盘,而Ceph的文件系统接口读写性能较块设备接口差,但具有优异的共享性。
对象存储
- Ceph对象存储使用Ceph对象网关守护进程(radosgw),它是一个用于与Ceph存储集群交互的HTTP服务器。由于它提供与OpenStack Swift和Amazon S3兼容的接口,因此Ceph对象网关具有自己的用户管理。 Ceph对象网关可以将数据存储在用于存储来自Ceph文件系统客户端或Ceph块设备客户端的数据的相同Ceph存储集群中,使用方式就是通过http协议上传下载删除对象(文件即对象)。
- 有了块设备接口存储和文件系统接口存储,为什么还整个对象存储呢?
Ceph的块设备存储具有优异的存储性能但不具有共享性,而Ceph的文件系统具有共享性然而性能较块设备存储差,为什么不权衡一下存储性能和共享性,整个具有共享性而存储性能好于文件系统存储的存储呢,对象存储就这样出现了。
分布式存储的优点:
- 高可靠:既满足存储读取不丢失,还要保证数据长期存储。 在保证部分硬件损坏后依然可以保证数据安全
- 高性能:读写速度快
- 可扩展:分布式存储的优势就是“分布式”,所谓的“分布式”就是能够将多个物理节点整合在一起形成共享的存储池,节点可以线性扩充,这样可以源源不断的通过扩充节点提升性能和扩大容量,这是传统存储阵列无法做到的
Ceph核心组件介绍
- 在ceph集群中,不管你是想要提供对象存储,块设备存储,还是文件系统存储,所有Ceph存储集群部署都是从设置每个Ceph节点,网络和Ceph存储开始 的。 Ceph存储集群至少需要一个Ceph Monitor,Ceph Manager和Ceph OSD(对象存储守护进程)。 运行Ceph Filesystem客户端时也需要Ceph元数据服务器。
- Monitors:Ceph监视器(ceph-mon)维护集群状态的映射,包括监视器映射,管理器映射,OSD映射和CRUSH映射。这些映射是Ceph守护进程相互协调所需的关键集群状态。监视器还负责管理守护进程和客户端之间的身份验证。冗余和高可用性通常至少需要三个监视器。
- Managers:Ceph Manager守护程序(ceph-mgr)负责跟踪运行时指标和Ceph集群的当前状态,包括存储利用率,当前性能指标和系统负载。 Ceph Manager守护进程还托管基于python的模块来管理和公开Ceph集群信息,包括基于Web的Ceph Dashboard和REST API。高可用性通常至少需要两名Managers。
- Ceph OSD:Ceph OSD(对象存储守护进程,ceph-osd)存储数据,处理数据复制,恢复,重新平衡,并通过检查其他Ceph OSD守护进程来获取心跳,为Ceph监视器和管理器提供一些监视信息。冗余和高可用性通常至少需要3个Ceph OSD。
- MDS:Ceph元数据服务器(MDS,ceph-mds)代表Ceph文件系统存储元数据(即,Ceph块设备和Ceph对象存储不使用MDS)。 Ceph元数据服务器允许POSIX文件系统用户执行基本命令(如ls,find等),而不会给Ceph存储集群带来巨大负担。
安装Ceph集群初始化
准备三台服务器
配置主机名
在192.168.40.200上执行如下:
hostnamectl set-hostname master1-admin && bash
在192.168.40.201上执行如下:
hostnamectl set-hostname node1-monitor && bash
在192.168.40.202上执行如下:
hostnamectl set-hostname node2-osd && bash
三台服务器分别配置hosts文件
vim /etc/hosts
192.168.40.200 master1-admin
192.168.40.201 node1-monitor
192.168.40.202 node2-osd
配置Ceph安装源
配置阿里云的repo源,master1-admin、node1-monitor、node2-osd上操作:
yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*
cat /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS/
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
安装基础软件包
yum install -y yum-utils device-mapper-persistent-data lvm2 wget net-tools nfs-utils lrzsz gcc gcc-c++ make cmake libxml2-devel openssl-devel curl curl-devel unzip sudo ntp libaio-devel wget vim ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet deltarpm
安装ceph集群
安装ceph-deploy
在master1-admin节点安装ceph-deploy
yum install python-setuptools ceph-deploy -y
在master1-admin、node1-monitor和node2-osd节点安装ceph
yum install ceph ceph-radosgw -y
ceph --version
创建monitor节点
在master1-admin创建一个目录,用于保存 ceph-deploy 生成的配置文件信息的
cd /etc/ceph
ceph-deploy new master1-admin node1-monitor node2-osd
ls
生成了如下配置文件
ceph.conf ceph-deploy-ceph.log ceph.mon.keyring
Ceph配置文件、一个monitor密钥环和一个日志文件
修改ceph配置文件
把ceph.conf配置文件里的默认副本数从3改成1 。把osd_pool_default_size = 2 ,加入[global]段,这样只有2个osd也能达到active+clean状态:
在master1-admin执行
vim /etc/ceph/ceph.conf
[global]
fsid = af5cd413-1c53-4035-90c6-95368eef5c78
mon_initial_members = node1-monitor
mon_host = 192.168.40.201
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true
osd_pool_default_size = 2
mon clock drift allowed = 0.500 #监视器间允许的时钟漂移量默认值0.05,ceph对每个mon之间的时间同步延时默认要求在0.05s之间,这个时间有的时候太短了。所以如果ceph集群如果出现clock问题就检查ntp时间同步或者适当放宽这个误差时间。
mon clock drift warn backoff = 10 #时钟偏移警告的退避指数。默认值5#cephx是认证机制是整个 Ceph 系统的用户名/密码
配置初始monitor、收集所有的密钥
在master1-admin 执行
cd /etc/ceph
ceph-deploy mon create-initial
ls *.keyring
出现如下
ceph.bootstrap-mds.keyring ceph.bootstrap-mgr.keyring ceph.bootstrap-osd.keyring ceph.bootstrap-rgw.keyring ceph.client.admin.keyring ceph.mon.keyring
部署osd服务
准备osd
在在master1-admin 执行
cd /etc/ceph/
ceph-deploy osd prepare master1-admin:/dev/sdb [root@master1-admin ceph]# ceph-deploy osd prepare node1-monitor:/dev/sdb
ceph-deploy osd prepare node2-osd:/dev/sdb
激活osd
ceph-deploy osd activate master1-admin:/dev/sdb1
ceph-deploy osd activate node1-monitor:/dev/sdb1
ceph-deploy osd activate node2-osd:/dev/sdb1
查看状态:
ceph-deploy osd list master1-admin node1-monitor node2-osd
创建ceph文件系统
创建mds
在master1-admin 执行
ceph-deploy mds create master1-admin node1-monitor node2-osd
查看ceph当前文件系统
ceph fs ls
#No filesystems enabled
一个cephfs至少要求两个librados存储池,一个为data,一个为metadata。当配置这两个存储池时,注意:
- 为metadata pool设置较高级别的副本级别,因为metadata的损坏可能导致整个文件系统不用
- 建议,metadata pool使用低延时存储,比如SSD,因为metadata会直接影响客户端的响应速度。
创建存储池
ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 128
关于创建存储池
确定 pg_num 取值是强制性的,因为不能自动计算。下面是几个常用的值:
*少于 5 个 OSD 时可把 pg_num 设置为 128
*OSD 数量在 5 到 10 个时,可把 pg_num 设置为 512
*OSD 数量在 10 到 50 个时,可把 pg_num 设置为 4096
*OSD 数量大于 50 时,你得理解权衡方法、以及如何自己计算 pg_num 取值
*自己计算 pg_num 取值时可借助 pgcalc 工具
随着 OSD 数量的增加,正确的 pg_num 取值变得更加重要,因为它显著地影响着集群的行为、以及出错时的数据持久性(即灾难性事件导致数据丢失的概率)。
创建文件系统
创建好存储池后,你就可以用 fs new 命令创建文件系统了
ceph fs new xianchao cephfs_metadata cephfs_data
new fs with metadata pool 2 and data pool 1 #其中:new后的fsname 可自定义
ceph fs ls #查看创建后的cephfs
ceph mds stat #查看mds节点状态
xianchao:1 {0=master1-admin=up:active} 2 up:standby #active是活跃的,另1个是处于热备份的状态
ceph -s
cluster cd296ab9-1f61-4b9f-8cc3-0a57dfab00ebhealth HEALTH_OKmonmap e1: 3 mons at {master1-admin=192.168.40.200:6789/0,node1-monitor=192.168.40.201:6789/0,node2-osd=192.168.40.202:6789/0}election epoch 4, quorum 0,1,2 master1-admin,node1-monitor,node2-osdfsmap e7: 1/1/1 up {0=node2-osd=up:active}, 2 up:standbyosdmap e20: 3 osds: 3 up, 3 inflags sortbitwise,require_jewel_osdspgmap v51: 116 pgs, 3 pools, 2068 bytes data, 20 objects323 MB used, 164 GB / 164 GB avail116 active+clean#HEALTH_OK表示ceph集群正常
这篇关于学习笔记六:ceph介绍以及初始化配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!