淘宝TFS文件系统配置(集群)

2023-10-07 07:10

本文主要是介绍淘宝TFS文件系统配置(集群),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

对于拥有大量图片和小文件的站点,如电子商务网站,用tfs是非常理想的,淘宝就是NB.

 

四台服务器,系统都为Centos 5.6

 

一、基础环境的设置(只需在dataserver两台服务器上配置)

1.加载ext4模块,让系统支持ext4文件系统

modprobe ext4

2.安装ext4格式工具

yum y install  e4fsprogs e4fsprogs-devel

3.建立数据目录

mkdir /home/disk1

mkdir /home/disk2

mkdir /home/disk3

4.格式硬盘

mkfs.ext4 /dev/sdb

mkfs.ext4 /dev/sdc

mkfs.ext4 /dev/sdd

5.挂载硬盘

mount /dev/sdb /home/disk1

mount /dev/sdc /home/disk2

mount /dev/sdd /home/disk3

6.查看挂载分区

二、文档配置(安装略可参考官网http://code.taobao.org/p/tfs/wiki/index/

 

1.TFS的Nameserver(192.168.2.240)主配置[ns.conf配置文件]

[public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 8108

work_dir = /usr/local/tfs

dev_name = eth0

thread_count = 50

ip_addr = 192.168.2.240

[nameserver]

safe_mode_time = 300

ip_addr_list = 192.168.2.240|192.168.2.241

group_mask = 255.255.255.255

block_max_size = 83886080

max_replication = 2

min_replication = 2

use_capacity_ratio = 98

block_max_use_ratio = 98

heart_interval = 2

object_dead_max_time = 3600

cluster_id = 1

replicate_ratio_ = 50

max_write_filecount = 16

heart_thread_count = 2

heart_max_queue_size = 10

repl_max_time = 60

cmpact_delete_ratio =  15 

compact_max_load = 200

object_dead_max_time = 86400

object_clear_max_time = 300

max_wait_write_lease = 15

lease_expired_time = 3

max_lease_timeout = 3000

cleanup_lease_threshold = 102400

build_plan_interval = 10

run_plan_expire_interval = 120

build_plan_ratio = 25

dump_stat_info_interval = 60000000

build_plan_default_wait_time = 2

balance_max_diff_block_num = 5

add_primary_block_count = 3

block_chunk_num = 32

task_percent_sec_size = 200

task_max_queue_size = 10000

oplog_sync_max_slots_num = 1024

oplog_sync_thread_num = 1

 

2.TFS的Nameserver(192.168.2.241)从配置[ns.conf配置文件]

[public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 8108

work_dir = /usr/local/tfs

dev_name = eth0

thread_count = 50

ip_addr = 192.168.2.241

[nameserver]

safe_mode_time = 300

ip_addr_list = 192.168.2.240|192.168.2.241

group_mask = 255.255.255.255

block_max_size = 83886080

max_replication = 2

min_replication = 2

use_capacity_ratio = 98

block_max_use_ratio = 98

heart_interval = 2

object_dead_max_time = 3600

cluster_id = 2

replicate_ratio_ = 50

max_write_filecount = 16

heart_thread_count = 2

heart_max_queue_size = 10

repl_max_time = 60

compact_delete_ratio =  15 

compact_max_load = 200

object_dead_max_time = 86400

object_clear_max_time = 300

max_wait_write_lease = 15

lease_expired_time = 3

max_lease_timeout = 3000

cleanup_lease_threshold = 102400

build_plan_interval = 10

run_plan_expire_interval = 120

build_plan_ratio = 25

dump_stat_info_interval = 60000000

build_plan_default_wait_time = 2

balance_max_diff_block_num = 5

add_primary_block_count = 3

block_chunk_num = 32

task_percent_sec_size = 200

task_max_queue_size = 10000

oplog_sync_max_slots_num = 1024

oplog_sync_thread_num = 1

 

 3.TFS的Dataserver(192.168.2.242)配置[ds.conf配置文件]

[public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 9998

work_dir = /usr/local/tfs

dev_name= eth0

thread_count = 50

ip_addr = 192.168.2.242

[dataserver]

ip_addr = 192.168.2.11

ip_addr_list = 192.168.2.240|192.168.2.241

port = 8108

heart_interval = 2

check_interval = 2

replicate_threadcount = 2

block_max_size = 7549747

dump_visit_stat_interval = 60

backup_type = 1

backup_path = /home/tfs

mount_name = /home/disk

mount_maxsize = 14194304

base_filesystem_type = 1

superblock_reserve = 0

avg_file_size = 40960

mainblock_size = 7549747

extblock_size = 419430

block_ratio = 0.5

hash_slot_ratio = 0.5

ds_thread_count = 4

 

 4.TFS的ads(192.168.2.242)配置[ads.conf配置文件]

[public]

log_size=1073741824

log_num = 64

log_level=debug

task_max_queue_size = 10240

port = 12000

work_dir = /usr/local/tfs

dev_name = eth0

thread_count = 50

ip_addr = 192.168.2.242

[adminserver]

check_interval = 5

check_count = 5

warn_dead_count = 3

ds_fkill_waittime = 15

ds_script = /usr/local/tfs/bin/dataserver -f /usr/local/tfs/conf/ds.conf -d

ds_index_list = 1,2,3

[nameserver]

ip_addr = 192.168.2.11

port = 8108

[dataserver]

port = 9998

lock_file = /usr/local/tfs/bin/dataserver

mount_name = /home/disk

 

5.TFS的Dataserver(192.168.2.243)配置...略和2.243相似,不能写,写不下了。

       

三、服务启动

 

1.启动tfs192.168.2.240)的nameserver

/usr/local/tfs/scripts/tfs  start_ns

2.启动tfs192.168.2.241)的nameserver

/usr/local/tfs/scripts/tfs  start_ns

3.启动tfs192.168.2.242)的dataserver

/usr/local/tfs/scripts/tfs admin_ns

 

3.1查看到服务端的连接

 

3.2查看dataserver下的块

4.启动tfs192.168.2.243)的dataserver

/usr/local/tfs/scripts/tfs admin_ns 

 

四、测试

tfstool工具连接到服务端上传图片

看到上传的图片已经保存成功

 

详解介绍可参考官方网站http://code.taobao.org/p/tfs/wiki/index/

这篇关于淘宝TFS文件系统配置(集群)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/156868

相关文章

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释:wolfCrypt是一个开源的、轻量级的、可移植的加密库,支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作,而不依赖其他加密库。 2. DTLS Support 解释:DTLS(Datagram Transport Layer Security)是一种基于UDP的安全协议,提供类似于

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3