Redhat5.4 系统上部署 MooseFS分布式文件系统的部署

2024-03-25 06:48

本文主要是介绍Redhat5.4 系统上部署 MooseFS分布式文件系统的部署,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第一,               分布式文件系统的介绍

分布式文件系统有数十种方案可供选择。如:ustre hadoopPnfs 等。还有下面要实现的moosfes moosfes 文件系统具有以下几个优点

   1 实施简单。 MFS(即是moosfes) 的部署,配置相对于其他类型的分布式文件系统来数,相对简单。

  2  在不停止服务时,就能对该文件系统进行扩容。 MFS 框架做好后,随时就可以可以对服务器进行扩充容量;在进行扩充  减少容量的同时都不会对现有服务造成影响。注: hadoop 也具有该功能

  3 容易恢复。

  4 高可靠性,将数据分成几个副本存储在不同的计算机中;通过增加计算机或者增加硬盘,动态的扩充可用磁盘空间; 可以设置删除文件的空间回收时间; 同时也能为文件创建快照

 6 mfs 文件系统的组成

     1,原数据服务器。负责管理文件系统

     2 数据服务器,即是chunkserver 。真正存储用户的数据服务器。存储文件时,首先把文件分成数据块,然后这些数据块存在数据服务器chunkserver之间复制。数据服务器可以死多个,并将数据服务器的数量越多,可使用的“磁盘空间”越大,同时可靠性也就越高

      3,客户端。使用MFS文件系统来存储和访问的主机称为mfs 的客户端,成功挂接MFS文件系统后,就可以共享该虚拟性的存储

7 MooseFS(即是mfs 架构(如下图)

        mfs 包括四种类型的机器

l   Mangaging Server master server

l   Data servers chunk servers

l   Metadata backup servers (metalogger server)

l   Client

          

 



 


 

第二.Master server(元数据服务器) 的安装

1 首先创建用户mfs

  #useradd –s /sbin/nologin  mfs

2 配置安装数据源服务器

    #tar  -xvf   mfs-1.6.17.tar.gz

    # cd mfs-1.6.17

    # ./configure  --prefix=/usr/local/mfs  --disable-mfschunkserver  --disable-mfsmount –with-default-user=mfs  --with-default-group=mfs 

    #make  && make install

3 配置数据服务器的相关配置文件

     #cd /usr/local/mfs/etc

     #cp   mfsexports.cfg.dist    mfsexports.cfg

     #cp   mfsmaster.cfg.dist     mfsmaster.cfg

     #cd  /usr/local/mfs/var/mfs

     #cp  metadata.mfs.empty  metadata.mfs

   4 修改mfsexports.cfg  mfsmaster.cfg

     IP      /    rw,alldirs,maproot=0

     注:IP 是允许 挂载的主机,该处可以是域名,主机名,IP地址

         #vim  mfsmaster.cfg

          mfsmaster.cfg 每行都是被注释掉了,但是都是配置文件的默认值。

Ø  LOCK_FILE=/var/run/mfs/mfsmaster.lock 

       注:文件锁在的位置,该文件主要是避免多次启动同一个守护进程。

Ø  DATA_PATH=/user/local/mfs/var/mfs 数据存储路径,只是元数据的存放路径,

Ø  MATOCS_LISTEN_PORT = 9420  即元数据服务使用9420 这个端口来接受数据储存服务器chunkserver端的连接

Ø  MATOCU_LISTEN_PORT = 9421  元数据服务器在9421 端口监听,用用以接受客户端对于MFS进行远程挂接(客户端以mfsmount 挂接MFS

        5 启动元数据服务器master

                    #/usr/local/mfs/sbin/mfsmaster  start

                             working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmaster modules ...

loading sessions ... ok

sessions file has been loaded

exports file has been loaded

loading metadata ...

loading objects (files,directories,etc.) ... ok

loading names ... ok

loading deletion timestamps ... ok

checking filesystem consistency ... ok

loading chunks data ... ok

connecting files and chunks ... ok

all inodes: 6

directory inodes: 2

                             file inodes: 4

chunks: 46

metadata file has been loaded

stats file has been loaded

master <-> metaloggers module: listen on *:9419

master <-> chunkservers module: listen on *:9420

main master server module: listen on *:9421

mfsmaster daemon initialized properly

 

 

 

   6 关闭原数据服务器master 

 

 

       在关闭元数据服务器master 务必使用/usr/local/mfs/sbin/mfsmaster –s

 

 

       如果直接使用kill 杀死进程,导致下次启动时出现找不到相关文件,而不能正常启动服务器。 如果使用kill 杀死进程,时出现上面的问题时,可以通过mfsmetastore 来恢复

第三,安装数据 储存服务器 chunkserver

1         解压mfs

#tar  -xvf  mfs-1.6.17.tar.gz

#cd  mfs-1.6.17

2         创建mfs 用户

   #useradd  -s /sbin/nologin mfs

3         配置安装mfs

  #  ./configure –prefix=/usr/local/mfs   --disable-mfsmaster –disable-mfsmount –with-default-user=mfs  --with-default-group=mfs

  #make  && make install

4         修改相关的配置文件

   #cd  /usr/local/mfs/etc

   #cp   mfschunkserver.cfg.dist   mfschunkserver.cfg

   #cp  mfshdd.cfg.dist     mfsshdd.cfg

   #vim  mfschunkserver.cfg

        取消下列注释

      MASTER_HOST= 192.168.2.1

        注: 该处的ip地址为元数据服务器的IP地址,此处可以设置元数据服务器的域名等

   LOCK_FILE=/var/run/mfs/mfschunkserver.lock  

                        注:文件锁在的位置,该文件主要是避免多次启动同一个守护进程

 

         CSSERV_LISTEN_PORT=9422 该端口用于与其他数据储存服务器间的连接,通常是数据复制 

 

 

             HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg

 

                注: 分配给MFS使用的磁盘空间配置文件的位置

 

5         修改配置文件mfshdd.cfg 服务分区挂接点 /data ,并修改属主

#chown  -R mfs:mfs  /data

 注:mfshdd.cfg 文件存的是用来给MooseFs 使用的空间,如果是单个chunkserver的储存空间最好大于2g,否则无法写入空间

6         启动数据储存服务器chunkserver

#/usr/local/mfs/sbin/mfschunkserver  start

 working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfschunkserver modules ...

hdd space manager: scanning folder /mnt/data/ ...

hdd space manager: /mnt/data/: 46 chunks found

hdd space manager: scanning complete

main server module: listen on *:9422

stats file has been loaded

mfschunkserver daemon initialized properly

7         数据储存服务器chunkserver 监听的端口为9422 ,同样关闭数据储存服务器时同样和元数据服务器的方法类似

#/usr/local/mfs/sbin/mfschunkserver –s

第四,安装元数据日志服务器 mfsmetalogger

      1 创建mfs 用户

         #useradd  -s /sbin/nologin  mfs

      2 安装元数据日志服务器

          # tar –xvf  mfs-1.6.17.tar.gz

          #cd mfs-1.6.17

          # ./configure  --prefix=/usr/local/mfs   --disable-mfschunkserver  --disable-mfsmount  --with-default-user=mfs   --with-default-user=mfs  

          # make  && make install

       3 修改相关配置

          #cd  /usr/local/mfs/etc

           #cp  mfsmetalogger.cfg.dist  mfsmetalogger.cfg

            #vim mfsmetalogger.cfg

             并把修改下面的选项

                MASTER_HOST = mfsmaster

                 MASTER_HOST = 192.168.2.1 此地址为mfsmaster ip地址

                并保存

                back_logs =50 

               META_DOWNLOAD_FREQ=24 注:元数据备份文件下载请求频率,默认为24 小时,即每个一天重元数据服务器 (master) 下载一个metadata.mfs.back 文件。但元数据服务器关闭或者故障时,matedata.mfs.back文件将消失,如果要回复整个 mfs。则需要从metalogger服务器取得该文件。该文件与日志文件在一起时,才能恢复整个被损坏的分布式文件系统

     4 启动元数据日志服务器

        #/usr/local/sbin/mfsmetalogger start

          working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmetalogger modules ...

mfsmetalogger daemon initialized properly

 注: metalogger 连接的master9419 端口  

 

第五.MFS客户端的安装 

 

 

   1 创建,mfs 用户

 

    #useradd  -s /sbin/nologin mfs

  2 解压安装fuse 

      # tar –xvf fuse-2.8.5.tar.gz

      #cd fuse-2.8.5

      #./configure  -prefix=/usr/local/fuse

      #make && make install

3 设置fuse 的环境

   #vim  /etc/profile 并在其尾部添加如下配置

     export PKG_CONFIG_PATH=/usr/local/fuse/lib/pkgconfig:$PKG_CONFIG_PATH

      保存并执行

     #source  /etc/profile

4解压,安装mfs客户端

     #tar –xvf  mfs-1.6.17.tar.gz

     #cd  mfs-1.6.17

     #./configure  --prefix=/user/local/mfs   --disable-mfsmaster –disable-mfschunkserver –enable-mfsmount  --with-default-user=mfs  --with-default-group=mfs

     #make  && make install

5 挂载MooseFs

    #mkdir  /mnt/mfs

  #/usr/local/mfs/bin/mfsmount –H  192.168.2.1 /mnt/mfs

 

mfsmaster accepted connection with parameters:read-write,restricted_ip;root mapped to root:root

这篇关于Redhat5.4 系统上部署 MooseFS分布式文件系统的部署的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/844166

相关文章

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令,常用的包括shutdown-r、reboot、init6等,不同命令适用于不同场景,本文将详细... 在管理和维护 linux 服务器时,完成系统更新、故障排查或日常维护后,重启系统往往是必不可少的步骤。本文

Mac系统下卸载JAVA和JDK的步骤

《Mac系统下卸载JAVA和JDK的步骤》JDK是Java语言的软件开发工具包,它提供了开发和运行Java应用程序所需的工具、库和资源,:本文主要介绍Mac系统下卸载JAVA和JDK的相关资料,需... 目录1. 卸载系统自带的 Java 版本检查当前 Java 版本通过命令卸载系统 Java2. 卸载自定

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构

Linux系统中的firewall-offline-cmd详解(收藏版)

《Linux系统中的firewall-offline-cmd详解(收藏版)》firewall-offline-cmd是firewalld的一个命令行工具,专门设计用于在没有运行firewalld服务的... 目录主要用途基本语法选项1. 状态管理2. 区域管理3. 服务管理4. 端口管理5. ICMP 阻断

Windows 系统下 Nginx 的配置步骤详解

《Windows系统下Nginx的配置步骤详解》Nginx是一款功能强大的软件,在互联网领域有广泛应用,简单来说,它就像一个聪明的交通指挥员,能让网站运行得更高效、更稳定,:本文主要介绍W... 目录一、为什么要用 Nginx二、Windows 系统下 Nginx 的配置步骤1. 下载 Nginx2. 解压

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》:本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.

使用Python实现Windows系统垃圾清理

《使用Python实现Windows系统垃圾清理》Windows自带的磁盘清理工具功能有限,无法深度清理各类垃圾文件,所以本文为大家介绍了如何使用Python+PyQt5开发一个Windows系统垃圾... 目录一、开发背景与工具概述1.1 为什么需要专业清理工具1.2 工具设计理念二、工具核心功能解析2.

Linux系统之stress-ng测压工具的使用

《Linux系统之stress-ng测压工具的使用》:本文主要介绍Linux系统之stress-ng测压工具的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、理论1.stress工具简介与安装2.语法及参数3.具体安装二、实验1.运行8 cpu, 4 fo

Web技术与Nginx网站环境部署教程

《Web技术与Nginx网站环境部署教程》:本文主要介绍Web技术与Nginx网站环境部署教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Web基础1.域名系统DNS2.Hosts文件3.DNS4.域名注册二.网页与html1.网页概述2.HTML概述3.