lustre安装配置V1.0

2024-03-24 10:32
文章标签 配置 安装 v1.0 lustre

本文主要是介绍lustre安装配置V1.0,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。 
是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美 
的安全性和可管理性。 
  目前Lustre已经运用在一些领域,例如HP SFS产品等。

 

  集群存储简介: 
  在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一 
的命名空间。厂商们也已经制造了一些软件和硬件设备,它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共

享其他用户的数据,而无需考虑是什么介质或其所处的是哪台主机。

 

  集群存储系统需要解决的最基本的问题: 
(1)提供共享访问数据,便于集群应用程序的编写和存储的负载均衡; 
(2)提供高性能的存储,在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求

 

  与分布式文件系统相比: 
  数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多; 
  集群可以为文件和文件系统提供更多的空间;

  因为只需要管理一个文件系统,而不再是每个存储设备或主机都需要一个文件系统,管理也更容易了;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实; 用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。

 

network type TCP/IP Network type used for Lustre file system temp

Centos 5.4    x86_64

ip    192.168.1.85    mds 
    roles    mdt1    oss1    client1 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/mdt 
    /dev/sda4    /mnt/ost1

ip    192.168.1.86    oss2 
    roles    oss2    client2 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost2

ip    192.168.1.87    oss3 
    roles    oss3    client3 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost3

 

lustre全局文件系统名字lustreFS 
MGS node     192.168.1.85@tcp0

 

1.下载安装 
http://wiki.lustre.org

cd lustre2 
rpm -Uvh e2fsprogs-1.41.10.sun2-0redhat.rhel5.x86_64.rpm 
rpm -ivh kernel*.rpm 
rpm -ivh lustre*.rpm

 

同步时间 
yum install ntp 
vi /etc/rc.local 
/usr/sbin/ntpdate stdtime.gov.hk

 

1. 加载模块,所有服务器上操作 
vi /etc/modprobe.conf 
options lnet networks=tcp

 

 

2.在mds上建立mdt文件系统 
mkfs.lustre –fsname=lustreFS –mgs –mdt /dev/sda3

 

 

3. 在mds上挂载mdt文件系统 
mkdir /mnt/mdt 
mount -t lustre /dev/sda3 /mnt/mdt

 

 

4. 在oss1,oss2,oss3上建立ost文件系统 
oss1 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda4

oss2和oss3 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda3

 

 

5.在每台oss上挂载ost 
oss1 
mkdir /mnt/ost1 
mount -t lustre /dev/sda4 /mnt/ost1

oss2 
mkdir /mnt/ost2 
mount -t lustre /dev/sda3 /mnt/ost2

oss3 
mkdir /mnt/ost3 
mount -t lustre /dev/sda3 /mnt/ost3

 

 

6.client挂载 
mkdir /lustre 
mount -t lustre 192.168.1.85@tcp0:/lustreFS /lustre

 

验证文件系统是否正常工作 
lfs df –h

 

测试lustre写入速度 
dd if=/dev/zero of=/lustre/test.img bs=1M count=5000

 

 

本机硬盘速度测试 
oss1 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 13.8092 seconds, 380 MB/s

 

oss2 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 24.5404 seconds, 214 MB/s

 

oss3 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 70.9517 seconds, 73.9 MB/s


这篇关于lustre安装配置V1.0的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/841325

相关文章

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

Maven如何手动安装依赖到本地仓库

《Maven如何手动安装依赖到本地仓库》:本文主要介绍Maven如何手动安装依赖到本地仓库问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、下载依赖二、安装 JAR 文件到本地仓库三、验证安装四、在项目中使用该依赖1、注意事项2、额外提示总结一、下载依赖登

CentOS7更改默认SSH端口与配置指南

《CentOS7更改默认SSH端口与配置指南》SSH是Linux服务器远程管理的核心工具,其默认监听端口为22,由于端口22众所周知,这也使得服务器容易受到自动化扫描和暴力破解攻击,本文将系统性地介绍... 目录引言为什么要更改 SSH 默认端口?步骤详解:如何更改 Centos 7 的 SSH 默认端口1

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

SpringBoot多数据源配置完整指南

《SpringBoot多数据源配置完整指南》在复杂的企业应用中,经常需要连接多个数据库,SpringBoot提供了灵活的多数据源配置方式,以下是详细的实现方案,需要的朋友可以参考下... 目录一、基础多数据源配置1. 添加依赖2. 配置多个数据源3. 配置数据源Bean二、JPA多数据源配置1. 配置主数据

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》:本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

SpringBoot中配置Redis连接池的完整指南

《SpringBoot中配置Redis连接池的完整指南》这篇文章主要为大家详细介绍了SpringBoot中配置Redis连接池的完整指南,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以... 目录一、添加依赖二、配置 Redis 连接池三、测试 Redis 操作四、完整示例代码(一)pom.