详解MFS分布式存储系统

2024-01-08 16:48

本文主要是介绍详解MFS分布式存储系统,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

分布式原理

分布式文件系统是指文件系统管理的物理存储资源下不一定直接连接在本地节点上,而是通过计算机网络与节点相连。
分布式文件系统的优点是集中访问、简化操作、数据容灾,以及提高了文件的存取性能。

MFS分布式文件系统

MFS是一种半分布式文件系统,它是由波兰人开发的。MFS文件系统能够实现RAID的功能,不但能够更节约存储成本,而且不比专业的存储系统差,它还可以实现在线扩展。

MFS原理

MFS是一个具有容错性的网络分布式文件系统,它把数据分散存放在多个服务器上,而呈现给用户的则是一个统一的资源。

(1) MFS文件系统的组成架构:

  • 元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据;
  • 元数据日志服务器(Metalogger):备份Master服务器的变化日志文件,文件类型为changlog_ml.*.mfs。当Master服务器数据丢失或者损坏时,可以从日志服务器中取得文件,进行恢复;
  • 数据存储服务器(Chunk Server):真正存储的数据的服务器。存储文件时,会把文件分块保存,并在数据服务器之间进行复制。数据服务器越多,能够使用的容量则越大,可靠性就越高,性能也就越好;
  • 客户端(Client):可以像挂载NFS一样挂载MFS文件系统,其操作是相同的。

(2) MFS读取数据的过程:

  1. 客户端向元数据服务器发出读请求;
  2. 元数据服务器把所需数据存放的位置(ChunkServer的IP地址和Chunk编号)告知客户端;
  3. 客户端向已知的ChunkServer请求发送数据;
  4. Chunkserver向客户端发送数据。

(3) MFS写入数据的过程:

  1. 客户端向元数据服务器发送写入请求;
  2. 元数据服务器与ChunkServer进行交互,但元数据服务器只在某些服务器创建新的分块Chunks,创建成功后由ChunkServers告知元数据服务器操作成功;
  3. 元数据服务器告知客户端,可以在哪个ChunkServer的哪些Chunks吸入数据;
  4. 客户端向指定的ChunkServer写入数据;
  5. 该ChunkServer与其他ChunkServer进行数据同步,同步成功后ChunkServer告知客户端数据写入成功;
  6. 客户端告知元数据服务器本次写入完毕。

搭建MFS文件系统

拓扑图

详解MFS分布式存储系统

系统环境

主机操作系统IP地址
Master ServerCentos 7.3 X86_64192.168.96.22
MetaloggerCentos 7.3 X86_64192.168.96.11
Chunk1Centos 7.3 X86_64192.168.96.12
Chunk2Centos 7.3 X86_64192.168.96.13
Chunk3Centos 7.3 X86_64192.168.96.14
ClinentCentos 7.3 X86_64192.168.96.15

5台服务器需连接互联网

开始部署

Master Servers:

1.关闭防火墙机及Selinux[重要]
setenforce 0
systemctl stop firewalld
2.下载YUM的key认证文件
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
3.添加repo源
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
4.更新repo配置(可选)
yum update
5.安装mfsmaster软件包
yum -y install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli

确认配置文件,在/etc/mfs下生成了相关的配置文件(mfsexports.cfg、mfsmaster.cfg等)
以下配置文件均采用默认值,不需做修改:mfsmaster.cfg、mfsexports.cfg、mfstopology.cfg

6.启动mfsmaster
mfsmaster start

详解MFS分布式存储系统

7.检查是否启动成功
ps -ef | grep mfs

详解MFS分布式存储系统


Metaloggers:

1.关闭防火墙机及Selinux[重要]
setenforce 0
systemctl stop firewalld
2.下载YUM的key认证文件
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
3.添加repo源
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
4.更新repo配置(可选)
yum update
5.安装mfsmetalogger软件包
yum -y install moosefs-metalogger
6.编辑mfsmetalogger.cfg配置文件

vim /etc/mfs/mfsmetalogger.cfg

  1 ###############################################2 # RUNTIME OPTIONS                             #3 ###############################################45 # user to run daemon as (default is mfs)6 # WORKING_USER = mfs78 # group to run daemon as (optional - if empty then default user group will be used)9 # WORKING_GROUP = mfs1011 # name of process to place in syslog messages (default is mfsmetalogger)12 # SYSLOG_IDENT = mfsmetalogger1314 # whether to perform mlockall() to avoid swapping out mfsmetalogger process (default is 0, i.e. no)15 # LOCK_MEMORY = 01617 # Linux only: limit malloc arenas to given value - prevents server from using huge amount of virtual memor    y (default is 4)18 # LIMIT_GLIBC_MALLOC_ARENAS = 41920 # Linux only: disable out of memory killer (default is 1)21 # DISABLE_OOM_KILLER = 12223 # nice level to run daemon with (default is -19; note: process must be started as root to increase priorit    y, if setting of priority fails, process retains the nice level it started with)24 # NICE_LEVEL = -192526 # set default umask for group and others (user has always 0, default is 027 - block write for group and bl    ock all for others)27 # FILE_UMASK = 0272829 # where to store daemon lock file (default is /var/lib/mfs)30 # DATA_PATH = /var/lib/mfs3132 # number of metadata change log files (default is 50)33 # BACK_LOGS = 503435 # number of previous metadata files to be kept (default is 3)36 # BACK_META_KEEP_PREVIOUS = 33738 # metadata download frequency in hours (default is 24, should be at least BACK_LOGS/2)39 # META_DOWNLOAD_FREQ = 244041 ###############################################42 # MASTER CONNECTION OPTIONS                   #43 ###############################################4445 # delay in seconds before next try to reconnect to master if not connected (default is 5)46 # MASTER_RECONNECTION_DELAY = 54748 # local address to use for connecting with master (default is *, i.e. default local address)49 # BIND_HOST = *5051 # MooseFS master host, IP is allowed only in single-master installations (default is mfsmaster)#修改为Master的IP地址 52 MASTER_HOST = 192.168.96.225354 # MooseFS master supervisor port (default is 9419)55 # MASTER_PORT = 94195657 # timeout in seconds for master connections (default is 10)58 # MASTER_TIMEOUT = 10
7.启动mfsmetalogger
mfsmetalogger start
8.检查是否启动成功
ps -ef | grep mfs

详解MFS分布式存储系统

停止mfsmetalogger命令为:mfsmetalogger stop

ChunkServers:

以下三台数据存储服务器配置一致,如下
1.关闭防火墙机及Selinux[重要]
setenforce 0
systemctl stop firewalld
2.下载YUM的key认证文件
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
3.添加repo源
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
4.更新repo配置(可选)
yum update
5.安装chunkserver软件包
yum -y install moosefs-chunkserver
6.修改主配置文件,修改Master的IP地址

vim /etc/mfs/mfschunkserver.cfg

 66 ###############################################67 # MASTER CONNECTION OPTIONS                   #68 ###############################################6970 # labels string (default is empty - no labels)71 # LABELS =7273 # local address to use for master connections (default is *, i.e. default local address)74 # BIND_HOST = *7576 # MooseFS master host, IP is allowed only in single-master installations (default is mfsmaster)# 修改为Master的IP地址77 MASTER_HOST = 192.168.96.227879 # MooseFS master command port (default is 9420)80 # MASTER_PORT = 9420818283 # timeout in seconds for master connections. Value >0 forces given timeout, but when value is 0 then CS as    ks master for timeout (default is 0 - ask master)84 # MASTER_TIMEOUT = 08586 # delay in seconds before next try to reconnect to master if not connected (default is 5)87 # MASTER_RECONNECTION_DELAY = 58889 # authentication string (used only when master requires authorization)90 # AUTH_CODE = mfspassword
7.指定服务器分配给MFS使用的文件位置

vim /etc/mfs/mfshdd.cfg

# This file keeps definitions of mounting points (paths) of hard drives to use with chunk server.
# A path may begin with extra characters which swiches additional options:
#  - '*' means that this hard drive is 'marked for removal' and all data will be replicated to other hard drives (usually on other chunkservers)
#  - '<' means that all data from this hard drive should be moved to other hard drives
#  - '>' means that all data from other hard drives should be moved to this hard drive
#  - '~' means that significant change of total blocks count will not mark this drive as damaged
# If there are both '<' and '>' drives then data will be moved only between these drives
# It is possible to specify optional space limit (after each mounting point), there are two ways of doing that:
#  - set space to be left unused on a hard drive (this overrides the default setting from mfschunkserver.cfg)
#  - limit space to be used on a hard drive
# Space limit definition: [0-9]*(.[0-9]*)?([kMGTPE]|[KMGTPE]i)?B?, add minus in front for the first option.
#
# Examples:
#
# use hard drive '/mnt/hd1' with default options:
#/mnt/hd1
#
# use hard drive '/mnt/hd2', but replicate all data from it:
#*/mnt/hd2
#
# use hard drive '/mnt/hd3', but try to leave 5GiB on it:
#/mnt/hd3 -5GiB
#
# use hard drive '/mnt/hd4', but use only 1.5TiB on it:
#/mnt/hd4 1.5TiB
#
# use hard drive '/mnt/hd5', but fill it up using data from other drives
#>/mnt/hd5
#
# use hard drive '/mnt/hd6', but move all data to other hard drives
#</mnt/hd6
#
# use hard drive '/mnt/hd7', but ignore significant change of hard drive total size (e.g. compressed file systems)
#~/mnt/hd7#提供给MFS的分区目录
/data

特别提醒:/data为提供给MFS的分区,一般最好使用独立的分区或磁盘来挂载该目录

8.创建目录(提给给MFS分区使用)
mkdir /data
9.修改属主/属组信息
chown -R mfs.mfs /data
10.启动chunkserver服务
mfschunkserver start

详解MFS分布式存储系统

11.检查是否启动成功
ps -ef | grep mfs

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

停止chunkserver命令为:mfschunkserver stop

Clients:

1.关闭防火墙机及Selinux[重要]
setenforce 0
systemctl stop firewalld
2.下载YUM的key认证文件
curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
3.添加repo源
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo
4.更新repo配置(可选)
yum update
5.安装MFS客户端
yum -y install moosefs-client
6.创建挂载点
mkdir -p /mfs/data
7.加载fuse模块到内核中
modprobe fuse
8.挂载MFS至/mfs/data
mfsmount /mfs/data -H 192.168.96.22
9.查看挂载情况
df -h

详解MFS分布式存储系统

卸载MFS命令:umount /mfs/data

MFS监控

通过yum安装方式已经默认安装好Mfscgiserv功能,它是同Python编写的一个web服务器,其监听端口为9425,可以在Master Server上通过mfscgiserv命令开启,然后利用浏览器打开就可以全面监控所有客户端挂载、Chunk Server、Master Server,以及客户端的各种操作等。

其中各部分的含义如下:
  • Info部分:显示了MFS的基本信息
  • Server部分:列出现有的Chunk Server
  • Disks部分:列出每一台Chunk Server的磁盘目录及使用量
  • Exports部分:列出被共享的目录,即可被挂载的目录
  • Mounts部分:显示被挂载的情况
  • Operations部分:显示正在执行的操作
  • Master Charts部分:显示Master Server的操作情况,包括读取、写入、创建目录、删除目录等

客户端通过浏览器访问http://192.168.96.22:9425,如下图

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统

详解MFS分布式存储系统


MFS常用操作

mfsgetgoal与mfssetgoal命令

目标是指文件被复制的份数,设定了复制的份数后就可以通过mfsgetgoal命令来证实,也可以通过mfssetgoal来改变设定

mfscheckfile与mfsfileinfo命令

实际的副本分数可以通过mfscheckfile和mfsfileinfo命令来证实。

mfsdirinfo命令

整个目录树的内容摘要可以通过一个功能增强的、等同于“du -s”的命令mfsdirinfo来显示。


维护MFS

最重要的就是维护元数据服务器,而元数据服务器最重要的目录为/var/lib/mfs/,MFS数据的存储、修改、更新等操作变化都会记录咋这个目录的某个文件中,因此只要保证这个目录的数据安全,就能够保证整个MFS文件系统的安全性和可靠性。
/var/lib/mfs/目录下的数据由两部分组成:一部分是元数据服务器的改变日志,文件名称类似于changelog.*.mfs;另一部分是元数据文件metadata.mfs,运行mfsmaster时该文件会被命名为metadata.mfs.back。只要保证了这两部数据的安全,即使元数据服务器遭到致命×××,也可以通过备份的元数据文件来部署一套元数据服务器。

详解MFS分布式存储系统

这篇关于详解MFS分布式存储系统的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/584142

相关文章

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

Python实现终端清屏的几种方式详解

《Python实现终端清屏的几种方式详解》在使用Python进行终端交互式编程时,我们经常需要清空当前终端屏幕的内容,本文为大家整理了几种常见的实现方法,有需要的小伙伴可以参考下... 目录方法一:使用 `os` 模块调用系统命令方法二:使用 `subprocess` 模块执行命令方法三:打印多个换行符模拟

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

Java中Arrays类和Collections类常用方法示例详解

《Java中Arrays类和Collections类常用方法示例详解》本文总结了Java中Arrays和Collections类的常用方法,涵盖数组填充、排序、搜索、复制、列表转换等操作,帮助开发者高... 目录Arrays.fill()相关用法Arrays.toString()Arrays.sort()A

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

一文详解如何使用Java获取PDF页面信息

《一文详解如何使用Java获取PDF页面信息》了解PDF页面属性是我们在处理文档、内容提取、打印设置或页面重组等任务时不可或缺的一环,下面我们就来看看如何使用Java语言获取这些信息吧... 目录引言一、安装和引入PDF处理库引入依赖二、获取 PDF 页数三、获取页面尺寸(宽高)四、获取页面旋转角度五、判断

Spring Boot中的路径变量示例详解

《SpringBoot中的路径变量示例详解》SpringBoot中PathVariable通过@PathVariable注解实现URL参数与方法参数绑定,支持多参数接收、类型转换、可选参数、默认值及... 目录一. 基本用法与参数映射1.路径定义2.参数绑定&nhttp://www.chinasem.cnbs

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD