Ceph在手,天下我有

2024-03-08 04:30
文章标签 在手 天下 ceph

本文主要是介绍Ceph在手,天下我有,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

有人问我,你是如何做到统一存储的?我微微一笑,大声告诉他:Ceph在手,天下我有。

585224-20180824183952015-1495376375.png

Ceph是一个统一的分布式存储系统,旨在实现出色的性能,可靠性和可扩展性。认了OpenStack做大哥之后更是一发不可收拾,受到大家广泛的关注。当然这都是因为它能提供多样可靠稳定的存储服务。

Ceph支持三种调用模式,这三种方式可以一同进行使用:

  1. 对象存储(Object):有原生的API,而且也兼容Swift和S3的API
  2. 块存储(Block):支持精简配置、快照、克隆
  3. 文件系统挂载(File):Posix接口,支持快照

是不是心间突生豪气,Ceph在手,当存尽天下所有AVI?

还记得上篇我们划重点的四个问题吗?在Ceph中是怎样去实现以实现可扩展、高性能、可靠性的呢?

  1. 原始存储格式 or 特殊存储格式,通过什么格式存储才能方便的管理数据,保证数据的迁移和安全。

  2. 大文件 or 小文件,文件系统适合大文件还是小文件存储,如何提供I/O效率。

  3. 数据高可用 or 空间利用率,通过复制副本技术提高数据可用性必然会降低空间利用率,应该如何取舍。

  4. 是否有元数据服务,元数据服务是保存存储数据元数据信息的服务,读写数据都需要连接元数据服务器保证一致性。存在元数据服务势必会存在单点问题和性能瓶颈问题。

我们先来看一下Ceph的基础架构图:

585224-20180824184121733-1216115864.jpg

RADOS:位于Ceph的最下层,Reliable, Autonomic, Distributed Object Store,即可靠的、自动化的、分布式的对象存储。Ceph所有的存储功能都是基于RADOS实现,在RADOS中一个Object的大小(通常为2MB或4MB),以便实现底层存储的组织管理。所以Ceph底层也是将文件分割成多个小文件的方式进行存储的。

librados:这一层的功能是对RADOS进行抽象和封装,并向上层提供API,以便直接基于RADOS(而不是整个Ceph)进行应用开发。目前提供PHP、Ruby、Java、Python、C和C++支持,通用性很重要。

RADOS GW(RADOS Gateway):提供与Amazon S3和Swift兼容的RESTful API的gateway,以供相应的对象存储应用开发使用。RADOS GW提供的API抽象层次更高,但功能则不如librados强大。

RBD(Reliable Block Device):提供了一个标准的块设备接口,常用于在虚拟化的场景下为虚拟机创建volume

Ceph FS:是一个POSIX兼容的分布式文件系统

上层这三个模块都位于Ceph的应用接口层,其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。

通过上面对Ceph架构的简单介绍我们可以知道Ceph也是以特殊存储格式进行存储的,将文件切分成2M~4M的Object存储到RADOS中,对于小文件和大文件都支持。

Ceph有两个很重要的守护进程:OSDs and Monitors。

OSD(Object Storage Device):负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD,支持自动备份和恢复。

Monitor:一个Ceph集群需要多个Monitor组成的小集群,它们通过Paxos协议(Zookeeper也是通过Paxos实现一致性)同步数据,用来保存OSD的元数据。

由此可见Ceph也需要元数据服务,但是实现了去中心化(划重点,需要理解OSD和Monitor的功能,如果对HBase了解的话,我觉得可以类比一下Zookeeper和HRegionServer的关系)。

Ceph特性

CRUSH(Controlled Replication Under Scalable Hashing)算法,实现去中心化,没有单点故障(下篇会讲到)

统一的存储架构,提供不同的存储解决方案

支持副本和EC两种数据冗余方式

自我管理,自我修复

专为云基础架构和新兴工作负载而设计

横向扩展、动态伸缩、冗余容灾、负载平衡等

少年,Ceph了解一下?

参考:
Ceph官方文档

欢迎关注我:叁金大数据(不稳定持续更新~~~)
585224-20180824184305908-42268147.jpg

转载于:https://www.cnblogs.com/jixin/p/9531588.html

这篇关于Ceph在手,天下我有的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/786001

相关文章

2.1ceph集群部署准备-硬件及拓扑

硬件配置及建议 时至今日,ceph可以运行在各种各样的硬件平台上,不管是传统的x86架构平台(intel 至强系列、基于amd的海光系列等),还是基于arm的架构平台(比如华为鲲鹏),都可以完美运行ceph集群,展现了其强大的适应能力。 ceph的不同组件对硬件的需求有些许不同,下面是官方推荐的硬件要求: 组件资源最低配置要求OSD处理器最少1 core每200-500 MB/s最少1 co

Ceph-deploy搭建ceph集群

Ceph介绍及安装 一、Ceph介绍1.1 ceph说明1.2 Ceph架构1.3 Ceph逻辑组织架构1.3.1 Pool1.3.2 PG1.3.3 PGP 二、部署Ceph集群2.1 部署方式:2.2 服务器准备`monitor、mgr、radosgw`:`MDS`(相对配置更高一个等级)`OSD节点 CPU`:`OSD 节点内存`: 2.3 部署环境**2.3.1、四台服务器作

ceph-iscsi 手动安装过程中的一些问题记录以及解决办法

ceph-iscsi 手动安装教程 安装教程,建议直接看官方文档,猛戳传送门。官方教程是英文版的(不知道有没有中文版),都是一些基础英语,问题不大,实在不行找个翻译软件帮帮忙,哈哈哈。 多啰嗦一点,官方教程里面全部是通过git 一个一个安装的,比较麻烦。可以使用如下命令,比较省事(以ubuntu系统作为示例): `sudo apt update // 更新apt 数据库 sudo apt -

想去Google做AI?面试题在手,全程无忧!

感谢博客:https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/79901364 412 作者 | 阿司匹林 出品 | 人工智能头条(公众号ID:AI_Thinker) 凭借强大的技术实力和良好的工作氛围,Google 对求职者一直有着强大吸引力。 虽然 Google 在几年前就已经退出了中国大陆市场,但是在

Ceph RBD使用

CephRBD使用 一、RBD架构说明二、RBD相关操作1、创建存储池2、创建img镜像2.1 创建镜像2.1.2 查看镜像详细信息2.1.3 镜像其他特性2.1.4 镜像特性的启用和禁用 3、配置客户端使用RBD3.1 客户端配置yum源3.2 客户端使用admin用户挂载并使用RBD3.2.1 同步admin账号认证文件3.2.2 客户端映射 3.3 客户端使用普通用户挂载并使用RBD

ceph中pg与pool关系

在Ceph中,PG(Placement Group)和Pool是非常重要的概念,它们在Ceph的存储架构中扮演着关键角色。理解这些概念有助于更好地管理和优化Ceph集群。下面详细介绍这两个概念及其相互关系。 Pool(存储池) 定义: Pool(存储池)是Ceph中逻辑上的存储单元,用于组织和管理数据。用户可以通过创建不同的Pool来为不同的应用程序或用途分配存储空间。 类型: Pool可以

弦歌创投基金:与有识之士道济天下,实现价值

20世纪90年代,互联网的浪潮在中国兴起,时代精英们审时度势,精准抓住了此次时代赋予的红利,及时入场,一众大名鼎鼎的领军人物们由此诞生。然而,随着互联网+的不断普及和发展,这个领域的红利也日渐殆尽。若想成功突围,就必须找到新的方向和契机。   进入21世纪后,区块链这一新兴行业就开始慢慢的走到舞台中央,以其迅猛的发展趋势不断吸引着众多投资者的商业眼光。近年,“区块链+”一词逐渐出现在人们眼前。

ceph rgw reshard (by quqi99)

作者:张华 发表于:2024-08-31 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明(http://blog.csdn.net/quqi99) 问题 今天执班遇到一个ceph问题,一个osd device坏了,导致整个client中断。后来这个就解决了,也顺序学习了一下。 原因 bucket里的object太多了,导致它的metadata oma

【大模型项目实战】练完这些项目,天下没有再难倒你的大模型

LLM的应用场景不是独立的,而是和其他业务结合生成的新智能服务,这就是为什么多练习大模型项目如此重要。而理解了这点,也就知道了大模型应用的潜力有多巨大。 练习项目不仅是对原理和概念的加深理解,更是对如何结合业务,业务逻辑的深度理解。要落到实际的应用场景,肯定需要对应用场景本身有足够的了解。而要理解场景,需要对大模型有足够的知识积累和实战经验。这就是为什么多练大模型项目如此重要。 这些项目不仅收

了解ceph scrub deep-scrub

目的 了解 ceph scrub, deep-scrub 作用了解 ceph scrub, deep-scrub 相关配置 参考告警 $ ceph -scluster:id: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxhealth: HEALTH_WARN434 pgs not deep-scrubbed in time <------