GFS分布式文件系统、集群

2024-03-23 08:08

本文主要是介绍GFS分布式文件系统、集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GFS分布式文件系统、集群

  • 一、GlusterFS简介
  • 二、GlusterFS特点
  • 三、GlusterFS术语
  • 四、GlusterFS构成
  • 五、GFS支持的卷
  • 六、GFS部署
    • 1、环境准备
    • 2、更改节点名称
    • 3、节点磁盘挂载、安装本地源
    • 4、添加节点集群
    • 5、根据规则创建卷
      • (1)创建分布式卷
      • (2)创建条带卷
      • (3)创建复制卷
      • (4)创建分布式条带卷
      • (5)创建分布式复制卷
    • 6、部署gluster客户端(192.168.177.2)
    • 7、查看文件分布
      • (1)查看分布式文件分布
      • (2)查看条带卷文件分布
      • (3)查看复制卷文件分布
      • (4)查看分布式条带卷分布
      • (5)查看分布式复制卷分布
  • 七、冗余测试

一、GlusterFS简介

1、开源的分布式文件系统
2、由储存服务器、客户端以及NFS/Samba储存网关组成
3、无元数据服务器
注:FS:文件系统
文件系统组成:(1)文件系统接口
(2)对对象管理的软件集合
(3)对象及属性

二、GlusterFS特点

1、扩展性和高性能
2、高可用性
3、全局统一命名空间
4、弹性卷管理
5、基于标准协议

三、GlusterFS术语

1、Brick(块存储服务器)实际存储用户数据的服务器
2、Volume本地文件系统的“分区”
3、FUSE用户空间的文件系统(类别EXT4),“这是一个伪文件”,用户端的交换模块
4、VFS(虚拟端口)内核态的虚拟文件系统,用户是提交请求给VFS然后VFS交给FUSH,再交给GFS客户端,最后由客户端交给远端存储
5、Glusterd(服务)是运行再储存节点的进程(客户端运行的是gluster client)GFS使用过程中整个GFS之间的交换由Gluster client和glusterd完成

四、GlusterFS构成

模块化堆栈式架构:模块化、堆栈式的架构;通过对模块的组合,实现复杂的功能。
注:1、API:应用程序编程接口
2、模块化:每个模块可以提供不同的功能
3、堆栈式:同时启用多个模块,逗哥功能可以组合,实现复杂的功能

在这里插入图片描述
注:上半部分为客户端,中间为网络层,下半部分为服务端
1、封装多个功能模块,组成堆栈式的结构,来实现复杂的功能
2、以请求的方式与客户端进行交互,客户端与服务端进行交互,由于可能会存在系统兼容问题,需要通过posix来解决系统兼容性问题,让客户端的命令通过posix过滤后可以在服务端执行

1、I/O cache:I/O缓存

2、read ahead:内核文件预读

3、distribute/stripe:分布式、条带化

4、Gige:千兆网/千兆接口

5、TCP/IP:网络协议

6、InfiniBand:网络协议,与TCP/IP相比,TCP/IP具有转发丢失数据包的特性,基于此通信协议可能导致通信变慢,而IB使用基于信任的、流控制的机制来保证连接完整性

7、RDMA:负责数据传输,有一种数据传输协议,功能:为了解决传输过程中客户端与服务器端数据处理的延迟

在这里插入图片描述
1、收到外界一个请求,例:用户端申请创建一个文件,客户端或应用程序通过GFS的挂载点访问数据

2、linux系统内容通过VFSAPI收到请求并处理

3、VFS将数据递交给FUSE内核文件系统,fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS

这篇关于GFS分布式文件系统、集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/837682

相关文章

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

转自: 一种改进的red5集群方案的应用: http://wenku.baidu.com/link?url=jYQ1wNwHVBqJ-5XCYq0PRligp6Y5q6BYXyISUsF56My8DP8dc9CZ4pZvpPz1abxJn8fojMrL0IyfmMHStpvkotqC1RWlRMGnzVL1X4IPOa_  基于Red5服务器集群负载均衡调度算法研究 http://ww

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节,Flexus X实例的促销力度非常大,特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求,一定不要错过这个机会。赶紧去看看吧! 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体

kubernetes集群部署Zabbix监控平台

一、zabbix介绍 1.zabbix简介 Zabbix是一个基于Web界面的分布式系统监控的企业级开源软件。可以监视各种系统与设备的参数,保障服务器及设备的安全运营。 2.zabbix特点 (1)安装与配置简单。 (2)可视化web管理界面。 (3)免费开源。 (4)支持中文。 (5)自动发现。 (6)分布式监控。 (7)实时绘图。 3.zabbix的主要功能

laravel框架实现redis分布式集群原理

在app/config/database.php中配置如下: 'redis' => array('cluster' => true,'default' => array('host' => '172.21.107.247','port' => 6379,),'redis1' => array('host' => '172.21.107.248','port' => 6379,),) 其中cl

分布式文件系统设计

分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景 / 问题时,具有借鉴意义。并且,分布式文件系统并非只有 HDFS/GFS 这一种形态,在它之外,还有其他形态各异、各有千秋的产品形态,对它们的了解,也对扩展我们的视野有所俾益。本文试图分析和思考,在分布式文件系统领域,我们要解决哪些问题、有

VMware8实现高可用(HA)集群

陈科肇 =========== 操作系统:中标麒麟高级操作系统V6 x86-64 实现软件:中标麒麟高可用集群软件 ======================== 1.环境的规划与配置 硬件要求 服务器服务器至少需要 2 台,每台服务器至少需要 2 块网卡以做心跳与连接公网使用存储环境 建议使用一台 SAN/NAS/ISCSI 存储作为数据共享存储空间 软