lustre安装配置V1.0

2024-03-24 10:32
文章标签 配置 安装 v1.0 lustre

本文主要是介绍lustre安装配置V1.0,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。 
是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美 
的安全性和可管理性。 
  目前Lustre已经运用在一些领域,例如HP SFS产品等。

 

  集群存储简介: 
  在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一 
的命名空间。厂商们也已经制造了一些软件和硬件设备,它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共

享其他用户的数据,而无需考虑是什么介质或其所处的是哪台主机。

 

  集群存储系统需要解决的最基本的问题: 
(1)提供共享访问数据,便于集群应用程序的编写和存储的负载均衡; 
(2)提供高性能的存储,在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求

 

  与分布式文件系统相比: 
  数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多; 
  集群可以为文件和文件系统提供更多的空间;

  因为只需要管理一个文件系统,而不再是每个存储设备或主机都需要一个文件系统,管理也更容易了;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实; 用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。

 

network type TCP/IP Network type used for Lustre file system temp

Centos 5.4    x86_64

ip    192.168.1.85    mds 
    roles    mdt1    oss1    client1 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/mdt 
    /dev/sda4    /mnt/ost1

ip    192.168.1.86    oss2 
    roles    oss2    client2 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost2

ip    192.168.1.87    oss3 
    roles    oss3    client3 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost3

 

lustre全局文件系统名字lustreFS 
MGS node     192.168.1.85@tcp0

 

1.下载安装 
http://wiki.lustre.org

cd lustre2 
rpm -Uvh e2fsprogs-1.41.10.sun2-0redhat.rhel5.x86_64.rpm 
rpm -ivh kernel*.rpm 
rpm -ivh lustre*.rpm

 

同步时间 
yum install ntp 
vi /etc/rc.local 
/usr/sbin/ntpdate stdtime.gov.hk

 

1. 加载模块,所有服务器上操作 
vi /etc/modprobe.conf 
options lnet networks=tcp

 

 

2.在mds上建立mdt文件系统 
mkfs.lustre –fsname=lustreFS –mgs –mdt /dev/sda3

 

 

3. 在mds上挂载mdt文件系统 
mkdir /mnt/mdt 
mount -t lustre /dev/sda3 /mnt/mdt

 

 

4. 在oss1,oss2,oss3上建立ost文件系统 
oss1 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda4

oss2和oss3 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda3

 

 

5.在每台oss上挂载ost 
oss1 
mkdir /mnt/ost1 
mount -t lustre /dev/sda4 /mnt/ost1

oss2 
mkdir /mnt/ost2 
mount -t lustre /dev/sda3 /mnt/ost2

oss3 
mkdir /mnt/ost3 
mount -t lustre /dev/sda3 /mnt/ost3

 

 

6.client挂载 
mkdir /lustre 
mount -t lustre 192.168.1.85@tcp0:/lustreFS /lustre

 

验证文件系统是否正常工作 
lfs df –h

 

测试lustre写入速度 
dd if=/dev/zero of=/lustre/test.img bs=1M count=5000

 

 

本机硬盘速度测试 
oss1 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 13.8092 seconds, 380 MB/s

 

oss2 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 24.5404 seconds, 214 MB/s

 

oss3 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 70.9517 seconds, 73.9 MB/s


这篇关于lustre安装配置V1.0的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/841325

相关文章

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip?2. 什么是 -i 参数?二、国内镜像源的选择三、如何

Python安装时常见报错以及解决方案

《Python安装时常见报错以及解决方案》:本文主要介绍在安装Python、配置环境变量、使用pip以及运行Python脚本时常见的错误及其解决方案,文中介绍的非常详细,需要的朋友可以参考下... 目录一、安装 python 时常见报错及解决方案(一)安装包下载失败(二)权限不足二、配置环境变量时常见报错及

SpringBoot+MyBatis-Flex配置ProxySQL的实现步骤

《SpringBoot+MyBatis-Flex配置ProxySQL的实现步骤》本文主要介绍了SpringBoot+MyBatis-Flex配置ProxySQL的实现步骤,文中通过示例代码介绍的非常详... 目录 目标 步骤 1:确保 ProxySQL 和 mysql 主从同步已正确配置ProxySQL 的

Spring Boot整合log4j2日志配置的详细教程

《SpringBoot整合log4j2日志配置的详细教程》:本文主要介绍SpringBoot项目中整合Log4j2日志框架的步骤和配置,包括常用日志框架的比较、配置参数介绍、Log4j2配置详解... 目录前言一、常用日志框架二、配置参数介绍1. 日志级别2. 输出形式3. 日志格式3.1 PatternL

配置springboot项目动静分离打包分离lib方式

《配置springboot项目动静分离打包分离lib方式》本文介绍了如何将SpringBoot工程中的静态资源和配置文件分离出来,以减少jar包大小,方便修改配置文件,通过在jar包同级目录创建co... 目录前言1、分离配置文件原理2、pom文件配置3、使用package命令打包4、总结前言默认情况下,

MySQL8.2.0安装教程分享

《MySQL8.2.0安装教程分享》这篇文章详细介绍了如何在Windows系统上安装MySQL数据库软件,包括下载、安装、配置和设置环境变量的步骤... 目录mysql的安装图文1.python访问网址2javascript.点击3.进入Downloads向下滑动4.选择Community Server5.

CentOS系统Maven安装教程分享

《CentOS系统Maven安装教程分享》本文介绍了如何在CentOS系统中安装Maven,并提供了一个简单的实际应用案例,安装Maven需要先安装Java和设置环境变量,Maven可以自动管理项目的... 目录准备工作下载并安装Maven常见问题及解决方法实际应用案例总结Maven是一个流行的项目管理工具

MySql9.1.0安装详细教程(最新推荐)

《MySql9.1.0安装详细教程(最新推荐)》MySQL是一个流行的关系型数据库管理系统,支持多线程和多种数据库连接途径,能够处理上千万条记录的大型数据库,本文介绍MySql9.1.0安装详细教程,... 目录mysql介绍:一、下载 Mysql 安装文件二、Mysql 安装教程三、环境配置1.右击此电脑

在 Windows 上安装 DeepSeek 的完整指南(最新推荐)

《在Windows上安装DeepSeek的完整指南(最新推荐)》在Windows上安装DeepSeek的完整指南,包括下载和安装Ollama、下载DeepSeekRXNUMX模型、运行Deep... 目录在www.chinasem.cn Windows 上安装 DeepSeek 的完整指南步骤 1:下载并安装

VScode连接远程Linux服务器环境配置图文教程

《VScode连接远程Linux服务器环境配置图文教程》:本文主要介绍如何安装和配置VSCode,包括安装步骤、环境配置(如汉化包、远程SSH连接)、语言包安装(如C/C++插件)等,文中给出了详... 目录一、安装vscode二、环境配置1.中文汉化包2.安装remote-ssh,用于远程连接2.1安装2