本文主要是介绍ceph纠删码精简配置ec4+2:1与ec4+2的切换,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
概述
近期遇到项目,由于灵活配置,前期只有部分机器,后续扩容,想用ec4+2的纠删码,但前期只有3台机器,需要做精简ec。
erasure-code-profile
首先按照ceph创建纠删码池步骤进行操作。
创建ec4+2的rule
ceph osd erasure-code-profile set newecrule k=4 m=2
查看该rule
# ceph osd erasure-code-profile get newecrule
crush-device-class=
crush-failure-domain=host
crush-root=default
jerasure-per-chunk-alignment=false
k=4
m=2
plugin=jerasure
technique=reed_sol_van
w=8
创建纠删码存储池
ceph osd pool create testec 1 1 erasure newecrule
通过ceph osd pool ls detail可以看到该pool相关信息,以及分配了crushrule。
如果是正常创建纠删码池,以上步骤基本完成,如果需要做精简ec,或者自定义结构,可以继续操作crushmap。
导出crushmap
导出crushmap,反编译,ceph基操不做赘述,步骤如下:
ceph osd getcrushmap -o crushmap
crushmap -d crushmap -o crushmap.txt
查看crushmap,可以看到刚pool所使用的rule,结构如下
rule testec {id xtype erasuremin_size 3max_size 6step set_chooseleaf_tries 5step set_choose_tries 100step take defaultstep chooseleaf indep 0 type hoststep emit
这个就是标准的host容灾的纠删码配置,其中ec的k+m是在erasure code profile中定义,这里的rule就是将纠删码的块分别放到不同host中。
如果前期项目只有3个节点,显然这里pg无法完成peering。
ec4+2:1
如果我们只有3台host,我们可以保留ec4+2的特性,同时通过调整rule,将每两个块放到一个host上,实现ec4+2:1的配置,等到集群扩容完成后,再将rule恢复。
type erasuremin_size 3max_size 6step take defaultstep choose indep 3 type host step chooseleaf indep 2 type osd
此处的rule不难看出,先选3个host,再从host上选择2osd,共6个osd完成pg peering和active。
精简ec的问题
ec4+2host容灾,正常是可以同时离线2个节点而完成自愈,而ec4+2:1只能同时离线一个节点,或者不同节点的2个盘(很好理解,最多损坏两个块)。
此外由于使用choose indep host后choose osd,当某个host下的osd不足完成2个块的数据承担时,仍有可能会被选中,导致pg卡住,无法完成peering。
因此当集群规模,预算足够时,应即使扩容,调整成完整的非精简的ec结构。
这篇关于ceph纠删码精简配置ec4+2:1与ec4+2的切换的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!