ceph纠删码精简配置ec4+2:1与ec4+2的切换

2024-05-14 09:28

本文主要是介绍ceph纠删码精简配置ec4+2:1与ec4+2的切换,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概述

近期遇到项目,由于灵活配置,前期只有部分机器,后续扩容,想用ec4+2的纠删码,但前期只有3台机器,需要做精简ec。

erasure-code-profile

首先按照ceph创建纠删码池步骤进行操作。

创建ec4+2的rule

ceph osd erasure-code-profile set newecrule k=4 m=2

查看该rule

# ceph osd erasure-code-profile get newecrule
crush-device-class=
crush-failure-domain=host
crush-root=default
jerasure-per-chunk-alignment=false
k=4
m=2
plugin=jerasure
technique=reed_sol_van
w=8

创建纠删码存储池

ceph osd pool create testec 1 1 erasure newecrule

通过ceph osd pool ls detail可以看到该pool相关信息,以及分配了crushrule。

如果是正常创建纠删码池,以上步骤基本完成,如果需要做精简ec,或者自定义结构,可以继续操作crushmap。

导出crushmap

导出crushmap,反编译,ceph基操不做赘述,步骤如下:

ceph osd getcrushmap -o crushmap
crushmap -d crushmap -o crushmap.txt

查看crushmap,可以看到刚pool所使用的rule,结构如下

rule testec {id xtype erasuremin_size 3max_size 6step set_chooseleaf_tries 5step set_choose_tries 100step take defaultstep chooseleaf indep 0 type hoststep emit

这个就是标准的host容灾的纠删码配置,其中ec的k+m是在erasure code profile中定义,这里的rule就是将纠删码的块分别放到不同host中。
如果前期项目只有3个节点,显然这里pg无法完成peering。

ec4+2:1

如果我们只有3台host,我们可以保留ec4+2的特性,同时通过调整rule,将每两个块放到一个host上,实现ec4+2:1的配置,等到集群扩容完成后,再将rule恢复。

        type erasuremin_size 3max_size 6step take defaultstep choose indep 3 type host        step chooseleaf indep 2 type osd 

此处的rule不难看出,先选3个host,再从host上选择2osd,共6个osd完成pg peering和active。

精简ec的问题

ec4+2host容灾,正常是可以同时离线2个节点而完成自愈,而ec4+2:1只能同时离线一个节点,或者不同节点的2个盘(很好理解,最多损坏两个块)。
此外由于使用choose indep host后choose osd,当某个host下的osd不足完成2个块的数据承担时,仍有可能会被选中,导致pg卡住,无法完成peering。
因此当集群规模,预算足够时,应即使扩容,调整成完整的非精简的ec结构。

这篇关于ceph纠删码精简配置ec4+2:1与ec4+2的切换的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/988386

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释:wolfCrypt是一个开源的、轻量级的、可移植的加密库,支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作,而不依赖其他加密库。 2. DTLS Support 解释:DTLS(Datagram Transport Layer Security)是一种基于UDP的安全协议,提供类似于

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

沁恒CH32在MounRiver Studio上环境配置以及使用详细教程

目录 1.  RISC-V简介 2.  CPU架构现状 3.  MounRiver Studio软件下载 4.  MounRiver Studio软件安装 5.  MounRiver Studio软件介绍 6.  创建工程 7.  编译代码 1.  RISC-V简介         RISC就是精简指令集计算机(Reduced Instruction SetCom

log4j2相关配置说明以及${sys:catalina.home}应用

${sys:catalina.home} 等价于 System.getProperty("catalina.home") 就是Tomcat的根目录:  C:\apache-tomcat-7.0.77 <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss} [%t] %-5p %c{1}:%L - %msg%n" /> 2017-08-10

DM8数据库安装后配置

1 前言 在上篇文章中,我们已经成功将库装好。在安装完成后,为了能够更好地满足应用需求和保障系统的安全稳定运行,通常需要进行一些基本的配置。下面是一些常见的配置项: 数据库服务注册:默认包含14个功能模块,将这些模块注册成服务后,可以更好的启动和管理这些功能;基本的实例参数配置:契合应用场景和发挥系统的最大性能;备份:有备无患;… 2 注册实例服务 注册了实例服务后,可以使用系统服务管理,