cinder学习小结

2024-03-26 23:20
文章标签 学习 小结 cinder

本文主要是介绍cinder学习小结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1 官方文档

翻译官方文档学习

链接Cinder Administration — cinder 22.1.0.dev97 documentation (openstack.org)

1.1 镜像压缩加速

在cinder.conf配allow_compression_on_image_upload = True可打开开关

compression_format = xxx可设置镜像压缩格式,可为gzip

1.2 多worker

可通过osapi_volume_workers配置实现多api线程

1.3 volume管理

1.3.1 从volume创虚机

1.3.1.1 从镜像创建non-bootable虚机

openstack volume create --size 8 test-volume

openstack server create --flavor xxx --image xxx --network xxx --block_device uuid=xxx,source_type=volume,destination_type=volume --wait test-server

1.3.1.2 从volume创虚机

方法1

openstack server create --boot-from-volume 10 --image xx test-server

会自动创一个10g的盘挂给test-server,镜像会放到这个盘。--boot-from-volume和--volume是互斥配置项

--boot-from-volume创虚拟时创的盘在虚机删除时,挂的盘不会被自动删除,得手动删

方法2

openstack volume create --image image_id --size 10 test-volume

openstack server create --volume volume_id test-server

1.3.1.3 给虚机从内存或外部存储挂盘

可通过在命令openstack server create 后添加--swap/--emphemeral实现,其中emphemeral挂的盘可重复挂载。当关虚拟机时,这两种盘会一并清空

openstack server create --flavor xx --image xx --network xx --swap 512 --emphemeral 2 --wait test-server

1.3.2 设置NFS

以root登入并在/etc/cinder创个文件nfs_shares,文件内容形如

HOST:SHARE_PATH1

HOST:SHARE_PATH2

host是NFSserver的主机ip或主机名

SHARE_PATH是NFS共享的路径

把nfs_shares文件的权限和属主改好,0640,root:cinder

改/etc/cinder/cinder.conf:

DEFAULT nfs_shares_config = /etc/cinder/nfs_shares

DEFAULT nfs_mount_options = xxx

DEFAULT volume_driver = cinder.volume.drivers.nfs.NfsDriver

其他配置项

nfs_sparsed_volumes = true/false 设置nfs盘类型。true表示盘随nfs文件内容多少而动态增长,也就是说,盘刚创时若没内容,这个盘占空间为0;false表示盘创时就是一个固定文件,有固定大小。

注意

如果系统开了selinux,需要给所有需要访问NFS的节点设置selinux配置项virt_use_nfs 为enable,即需在每个需访问NFS的节点执行命令

setsebool -P virt_use_nfs on

1.3.3 配置多存储端

1.3.3.1 配多存储端

通过设cinder.conf DEFAULT enabled_backends = backenda,backendb,...实现,配完了要在cinder.conf里配每个backend,即以每个backend为section名,底下放详细配置形如下

[backenda]

volume_group = groupa

volume_driver = drivera

volume_backend_name = namea

设完了执行cinder-manage volume update_host --currenthost xxx --newhost xxx,再重启服务实现配置生效

创volume时可提供backend_name,cinder.conf中每个backend下的volume_backend_name可重名,这样创volume时scheduler会在同名的backend选出最合适的backend

1.3.3.2 存储端公共配置

即cinder.conf中可以实现[backend_default],每个[backend]会使用[backend_default]中的部分,若backend和backend_default有重复,backend会 覆盖default的值。必须启用filter_scheduler才能使用多backend

1.3.3.3 volume种类

创volume需要指定volume类别,类别需要手动创建

openstack --os-username admin --os-tenant-name admin volume type create lvm

openstack --os-username admin --os-tenant-name admin volume type set lvm --property volume_backend_name=lvm_ISCSI

注,volume_backend_name不存在时会导致filter_scheduler报错

1.3.4 存储盘备份

1 为某个lv创snapshot lvcreate --size 10G --snapshot --name xxx /dev/cinder_vol/inst0001

检验是否成功创snapshot: lvdisplay

2 给snapshot挂载

kpartx -av /dev/cinder_vol/inst0001-snapshot

mount /dev/mapper/cinder--volumes-volume--volume--0001--snapshot1 /mnt

3 压缩打包,把/mnt 用tar压缩成包,备份成功

4 把snapshot unmount,删除snapshot分区表,删除snapshot

1.3.5 迁移卷组

若存储可自行迁移,则迁移过程会执行相关优化;若存储不可自行迁移,则需要调用cinder标准工作流中的几种

若卷没挂载,cinder会创一个新卷,将旧卷数据复制到新卷中;若卷挂载了,cinder会创个新卷,然后调nova进行卷迁移,这需要nova支持libvirt driver

卷迁移可通过openstack volume show查看volume迁移相关的参数

卷迁移:openstack volume migrate volume_id --host cinder_storage_pool2

os-vol-host-attr:host volume当前的backend

os-vol-mig-status-attr:migstat 当前卷迁移的状态,一般的卷是None,迁移中是migrating,完成是completing

os-vol-mig-status-attr:name_id 

若要移除存储节点,先迁移,再停cinder 服务

注 

目前不支持迁移带snapshot的卷

迁移是root操作,也就是说,迁移过程中卷相关的非root一般操作会被禁止

1.3.6 卷备份

openstack volume backup create [--incremental] [--force] VOLUME

VOLUME: 卷id或卷名称

--incremental:增量备份

--force: 强制创建备份(一般只有volume available才可创备份,force是即使volume in-use,也会创建,但这时可能会导致出错,所以force默认是false)

其他flag:has_dependent_backups: 是否依赖其他backup,如果为true,删此backup会失败

增量备份基于最新时间戳的已有备份。已有备份可为增量备份或全量备份,所以卷第一个备份必须是全量备份,即不能是增量备份,否则会失败

backup_swift_block_size: cinder.conf配置项,规定了incremental backup一次追溯的盘大小变化范围(不确定)

backup_swift_object_size: 必须是block_size整数倍(不确定)

backup_swift_enable_progress_timer: 默认enabled。会默认给telemetry发notification

backup_file_size用于设置backup文件最大大小,若超过限制backup会被分为多个文件\

backup_max_operation 限制backup 和restore最大并发数,默认是15,15指的是所有backup worker加起来的并发不超过15,不是每个worker的不超过15

从备份恢复卷

openstack volume backup restore backup_id volume_id

若从full backup恢复卷,则为full恢复;若从incrememtal backup恢复,则会自动从backup恢复卷

因为卷backup还依赖存储database,所以也需要经常备份database(gaussdb?)。也可导出backup的metadata,这比备份database方便

默认backup用的是swift

如果想用NFS作为backup repository,在cinder.conf中添加如下配置:backup_driver、backup_share

R版本以后,backup时可以强制删除backup过程,此时backup的文件不会被删除,且无法知晓backup文件中有多少数据,此时建议将backup状态设为error

1.3.7 默认scheduler权重策略

默认是根据盘最大空余存量和可分配容量进行权重计算,可通过配置scheduler_default_weighers=xxx改变权重计算方法

1.3.8 基于容量的QoS

cinderQoS随容量增大而增大,如果不加以限制,某个用户可能会分一个性能很大的卷,这将导致剩余容量的卷拥有剩余的性能可能很小,这可能会有问题,可通过qos规划volume性能限制

cinder qos-create high-iops consumer="front-end" total_iops_sec_per_gb=30 total_bytes_sec_per_gb=1048576

cinder qos-associate qos-id volume-type-id

1.3.9 一致组

可以让多个volume生成snapshot时的时间尽量保持在同一时间点,提高数据一致性

该特性在Q版本后就不支持了,转而合入一般卷组

使用该特性前需注意存储驱动是否支持一致组的特性,因为仅有为数不多的驱动支持一致组特性,常用的LVM并不支持该特性

volume如果加入一致组,部分操作会受限,即对volume的有的操作无法执行,具体看官方文档

一致组和一致组的镜像删除会将组内的volume和snapshot作为一个整体一块删除

目前没有openstack命令可创一致组,只能通过cinder命令创建

cinder consisgroup-create --name niubility vol_type_1

openstack volume create --type vol_type_1 --consistency-group group_id --size 2 niubilityVol

cinder cgsnapshot-create consisgroup_id

删除cgsnapshot cinder cgsnapshot-delete cgsnapshot_id

更新consisgroup cinder consisgroup-update  --name xxx --add-volumes vol_1_id, vol_2_id --remove-volumes vol_3_id, vol_4_id consisgroup_id

从另一个consisgroup 的快照创建新consistency group : cinder consisgroup-create-from-src --cgsnapshot cgsnapshot_id --name xx --description xxx

从另一个consisgroup创建新consistency group:cinder consisgroup-create-from-src --source-cg consisgroup_id --name xx --description xx

1.3.10 使用filter和weigh

可在cinder.conf中DEFAULT scheduler_default_filter,scheduler_default_weighers设置filter和weighers,多个filter或weighers以逗号分隔

DriverFilter和GoodnessWeigher处理逻辑需要自己配置,即配上述两个配置后,还需配filter_function和goodness_function,如果不配这两个会用默认值,这俩配置值为等式,如volume.size < 10,有多种卷属性可在等式中配置,具体哪些属性参考Configure and use driver filter and weighing for scheduler — cinder 22.1.0.dev97 documentation (openstack.org)

filter_function和goodness_function可在cinder.conf的每个backend下配置

1.3.11 卷复制速率限制

背景 从镜像创卷,或将卷镜像上传glance时,若image过大,会占用较大带宽,可通过配置cinder.cong的volume_copy_bps_limit限制带宽,该配置可在每个backend下配置,单位是byte/s,如果配100Mib/s 则值为2*20=104857600

注意 

该配置生效需要安装libcgroup设置blkio限制硬盘IO带宽。Debian和ubuntu是cgroup-tools,redhat、Fedora等是libcgroup-tools

远程文件系统不支持此配置,如NFS

1.3.12 精简模式下的oversubscription

该功能在cinder.conf中的max_over_subscription_ratio实现,默认是20,表示实际分配的空间可以实际空间的几倍,如果值小于1,则实际会以20起作用,也可设为auto,该配置也是在每个backend下可配置。

reserved_percentage功能和oversubscription相反,表示要保留的磁盘容量大小,这部分容量应该不会算到oversubscription

1.3.13 镜像卷缓存

该功能可极大提高从image创卷的速度,主要取决于一个backend拷贝卷速度有多快:第一次从image创卷时一个volume缓存会被创,卷缓存被cinder内部租户拥有,第二次以后从image创卷,不会下载image,而是复制卷缓存。卷缓存可在每个backend配置

通过cinder.conf,可为cinder配内部租户

cinder_internal_tenant_project_id = xxx

cinder_internal_tenant_user_id = xxx

通过image_volume_cache_enabled = True使卷缓存生效

可限制卷缓存大小和数量,默认是0,即不做限制:

image_volume_cache_max_size_gb = xxx

image_volume_cache_max_count = xxx

卷缓存会触发telemetry消息:

image_volume_cache.miss: 创卷时没找到缓存,表示该卷是新创

image_volume_cache.hit: 创卷时找到了缓存,而且可找到速度最快缓存

image_volume_cache.evict: 卷缓存被删时发出

1.3.14 基于卷的镜像

即基于cinder的vol创镜像

基于卷的镜像需要glance服务中cinder的location信息

为了让glance使用cinder,在glance-api.conf的glance_store.stores中加上cinder,多个值逗号分隔

为了暴露location信息,在glance-api.conf中设置show_multiple_locations = True

cinder.conf DEFAULT allowed_direct_url_schemes = cinder

cinder.conf DEFAULT image_upload_use_cinder_backend = True

cinder.conf DEFAULT image_upload_use_internal_tenant = True  # 每个backend可以配,

创建方法:

如果 image_upload_use_cinder_backend为True,可glance image-create --volume vol_id image_name创

如果为False可先glance image-create创,然后glance location-add image_id --url cinder://vol_id

为了让基于卷的镜像可被glance访问,可在glance-api.conf的glance_store中配置下列配置:

cinder_store_auth_address

cinder_store_user_name

cinder_store_password

cinder_store_project_name

1.3.15 私有卷类型

为防止一般用户使用高可用性卷类型,可创建私有卷类型,通过cinder type-create 的--private指定,私有卷类型可通过project授予访问权,如果没project则默认admin才能访问

1.3.16 用户可见额外规格(extra specs)

Xena版本开始,某些额外规格开始对一般用户可见。这些用户可见的额外规格是一个固定列表,且基于policy,也就是说,也有用户不可见的额外规格

一般用户无法修改额外规格。额外规格可用于cinder type-list时筛选需要的type-list

为防止不可见额外规格被一般用户可见(比如通过将版本改到Xena之前),可手动修改cinder/resource_filters.json的volume_type为Xena版本前的默认值

1.4 troubleshooting

1.4.1 配置

3 cinder cmd cli

3.1 cinder-manage

3.1.1 cinder-manage db sync

4 接口调用流程整理

4.1 cinder list

最后到gaussdb去查了

4.2 cinder create

v3/volumes.py:VolumeController.create() -> volume.api.API().create() -> taskflow五个flow创volume -> rpc将请求发给scheduler -> scheduler创flow执行创volume请求 -> 更新cinder数据库 -> rpc将请求发给cinder-volume -> 用flow创volume -> 发volume.create.start notification -> 创volume -> 发volume.create.end notification -> 更新数据库,完毕

具体创卷是通过创lun实现

这篇关于cinder学习小结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/850196

相关文章

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大,需要补充太多的知识点,教授讲得内容跨越较大,一般一节课的内容是书本上的一章节内容,所以看视频比较吃力,需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构: Adjacency Matrix:行和列表示的是节点的位置,A[i,j]表示的第 i 个节点和第 j 个

Node.js学习记录(二)

目录 一、express 1、初识express 2、安装express 3、创建并启动web服务器 4、监听 GET&POST 请求、响应内容给客户端 5、获取URL中携带的查询参数 6、获取URL中动态参数 7、静态资源托管 二、工具nodemon 三、express路由 1、express中路由 2、路由的匹配 3、路由模块化 4、路由模块添加前缀 四、中间件