fdfs安装启动及性能优化

2024-04-29 13:20
文章标签 安装 启动 优化 性能 fdfs

本文主要是介绍fdfs安装启动及性能优化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

fsatDFS安装

1、使用 wget 命令下载压缩包，如果没有 wget 命令使用 yum 命令安装
yum install wget
2、下载 fastdfs
wget -c “https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz”
3、下载 libfastcommon
wget -c “https://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz”
4、下载 fastdfs-nginx-module
wget -c “https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gz”
5、下载 nginx
wget -c http://nginx.org/download/nginx-1.17.7.tar.gz
6、安装编译工具及库文件
yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
7、测试环境关闭防火墙
systemctl stop firewalld.service
8、开机禁用防火墙
systemctl disable firewalld.service
9、查看防火墙状态
firewall-cmd --state

2、编译安装

2.1、编译安装 libfastcommon

1、进入解压后的目录
cd /root/download/libfastcommon-1.0.43
2、编译安装
./make.sh && ./make.sh install
3、检查
ls /usr/lib64|grep libfastcommon
ls /usr/lib|grep libfastcommon
出现libfastcommon.so即成功

2.2、编译安装 fastdfs

cd /root/download/fastdfs-6.06
2、编译安装
./make.sh && ./make.sh install
3、检查
ls /usr/bin|grep fdfs
4、启用配置文件
cd /etc/fdfs/
cp storage.conf.sample storage.conf
cp client.conf.sample client.conf
cp tracker.conf.sample tracker.conf
mkdir -p /fastdfs/tracker
5、修改 tracker.conf 文件
vi /etc/fdfs/tracker.conf
修改内容base_path = /fastdfs/tracker,将base_path 修改
6、启动 tracker 服务
/etc/init.d/fdfs_trackerd start
7、检查服务是否启动
ps -ef|grep fdfs
8、修改 storage.conf 文件
vi /etc/fdfs/storage.conf
修改内容base_path = /fastdfs/tracker,将base_path 修改
base_path = /fastdfs/tracker
store_path0 = /fastdfs/storage
tracker_server = 192.168.2.128:22122
9、创建目录
mkdir -p /fastdfs/storage
10、启动 storage 服务
/etc/init.d/fdfs_storaged start
12、编辑 client.conf 文件
vi /etc/fdfs/client.conf
tracker_server = 192.168.2.128:22122
base_path = /fastdfs/tracker
启动Storage
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
重启命令
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
测试文件上传
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /opt/xxx.txt

三、storage服务安装nginx

解压
tar -zxvf nginx-1.19.0.tar.gz
进入解压目录
cd nginx-1.19.0
安装
./configure
make
make install检查安装
/usr/local/nginx/sbin/nginx -v
启动nginx
/usr/local/nginx/sbin/nginx
检查启动状态
lsof -i:80
停止nginx
/usr/local/nginx/sbin/nginx -s stop
四、安装fastdfs-nginx-module
解压
tar -zxvf fastdfs-nginx-module-1.22.tar.gz
进入nginx安装目录，添加fastdfs-nginx-module模块
cd nginx-1.19.0
./configure --add-module=/root/fastdfs-nginx-module-1.22/src/
安装
make && make install
检查安装
/usr/local/nginx/sbin/nginx -V复制mod_fastdfs.conf文件
cp /root/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf /etc/fdfs/
编辑mod_fastdfs.conf文件
vim /etc/fdfs/mod_fastdfs.conftracker_server=192.168.2.128:22122
store_path0=/fastdfs/storage
url_have_group_name = true拷贝配置
cp /root/fastdfs-6.06/conf/http.conf /etc/fdfs/http.conf
cp /root/fastdfs-6.06/conf/mime.types /etc/fdfs/mime.types
编辑nginx配置文件
vim /usr/local/nginx/conf/nginx.confserver {
listen 8888; ## 该端口为storage.conf中的http.server_port相同
server_name localhost;
location ~/group[0-9]/ {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
启动nginx
/usr/local/nginx/sbin/nginx
测试上传一个文件，使用nginx访问
/usr/bin/fdfs_test /etc/fdfs/client.conf upload /opt/cwp/front.log
访问
curl http://127.0.0.1:8888/group1/M00/00/00/CmMTMGN8fOyANwnwAAAKfRfuBYM335.log
访问成功！

问题解决

fastdfs报错。tracker_proto.c, line: 50, server: 192.168.96.152:22122, response status 2
解决：
仔细检查/etc/fdfs/storage.conf 与/etc/fdfs/tracker.conf 这两个配置文件。尤其检查看 ip和端口号
命令
pkill -9 fdfs
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

FastDFS 如何优化性能

1.最大并发连接数

配置文件：tracker.conf 和 storage.conf
参数名：max_connections
缺省值：256，默认配置：1024

FastDFS为一个连接分配一个task buffer，为了提升分配效率，FastDFS采用内存池的做法。FastDFS老版本直接事先分配 max_connections 个buffer，这个做法显然不是太合理，在max_connections 设置过大的情况下太浪费内存。v5.04对预分配采用增量方式，tracker一次预分配1024个，storage一次预分配256个。

task buffer实际内存占用情况测算如下

改进前：max_connections * buffer_size
改进后：预分配buffer数 * buffer_size

使用v5.04及后续版本，可以根据实际需要将 max_connections 设置为一个较大的数值，比如 10240 或65535 甚至更大。

友情提示：此时需要将一个进程允许打开的最大文件数调大到超过max_connections，否则FastDFS server启动会报错。
2.最大工作线程数

配置文件：tracker.conf 和 storage.conf
参数名：work_threads
缺省值：4

work threads主要负责网络IO处理，一个线程通过epoll这样的机制处理若干个网络连接。work threads理论上不会消耗太多CPU，不建议配置得过大。

为了减少CPU上下文切换的开销，以及不必要的资源消耗，不建议将本参数设置得过大。为了充分发挥出多个CPU的效能，系统中的线程数总和，建议不要超过CPU总数的2倍。

对于tracker server，公式为：
work_threads + 2 <= 2 * CPU总数

对于storage server，公式为：

work_threads + 1 + 本组storage server数 + (disk_reader_threads + disk_writer_threads) store_path_count <= 2 CPU总数

3. storage磁盘读写线程数

配置文件：storage.conf

1. disk_rw_separated：磁盘读写是否分离，缺省值为 true
2. disk_reader_threads：单个磁盘文件读取线程数，缺省值为 1
3. disk_writer_threads：单个磁盘文件写入线程数，缺省值为 1

注：单个（或一个）磁盘对应storage server的一个store path。

如果磁盘读写混合，单个磁盘读写线程总数为读取线程数 与 写入线程数之和。
对于单盘挂载方式，磁盘读写线程分别设置为 1 即可。
如果磁盘做了RAID，比如RAID5或RAID10，那么需要酌情加大读写线程数，这样才能最大程度地发挥磁盘IO能力。
4. storage同步延迟相关设置

配置文件：storage.conf

1. sync_binlog_buff_interval：将binlog buffer写入磁盘的时间间隔，单位为秒，取值大于0，缺省值为60，建议设置为1。2. sync_wait_msec：如果没有需要同步的文件，对binlog进行轮询的时间间隔，单位为毫秒，取值大于0，缺省值为200，建议设置为50。3. sync_interval：同步完一个文件后，休眠的毫秒数，缺省值为0，通常设置为0即可。

这篇关于fdfs安装启动及性能优化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/946201。

相关文章

Python使用国内镜像加速pip安装的方法讲解

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip？2. 什么是 -i 参数？二、国内镜像源的选择三、如何
阅读更多...
Springboot中分析SQL性能的两种方式详解

Springboot中分析SQL性能的两种方式详解

《Springboot中分析SQL性能的两种方式详解》文章介绍了SQL性能分析的两种方式：MyBatis-Plus性能分析插件和p6spy框架,MyBatis-Plus插件配置简单,适用于开发和测试环... 目录SQL性能分析的两种方式:功能介绍实现方式:实现步骤:SQL性能分析的两种方式:功能介绍记录
阅读更多...
Python安装时常见报错以及解决方案

Python安装时常见报错以及解决方案

《Python安装时常见报错以及解决方案》：本文主要介绍在安装Python、配置环境变量、使用pip以及运行Python脚本时常见的错误及其解决方案,文中介绍的非常详细,需要的朋友可以参考下... 目录一、安装 python 时常见报错及解决方案（一）安装包下载失败（二）权限不足二、配置环境变量时常见报错及
阅读更多...
Android里面的Service种类以及启动方式

Android里面的Service种类以及启动方式

《Android里面的Service种类以及启动方式》Android中的Service分为前台服务和后台服务,前台服务需要亮身份牌并显示通知,后台服务则有启动方式选择,包括startService和b... 目录一句话总结：一、Service 的两种类型：1. 前台服务（必须亮身份牌）2. 后台服务（偷偷干
阅读更多...
Deepseek使用指南与提问优化策略方式

Deepseek使用指南与提问优化策略方式

《Deepseek使用指南与提问优化策略方式》本文介绍了DeepSeek语义搜索引擎的核心功能、集成方法及优化提问策略,通过自然语言处理和机器学习提供精准搜索结果,适用于智能客服、知识库检索等领域... 目录序言1. DeepSeek 概述2. DeepSeek 的集成与使用2.1 DeepSeek API
阅读更多...
MySQL8.2.0安装教程分享

MySQL8.2.0安装教程分享

《MySQL8.2.0安装教程分享》这篇文章详细介绍了如何在Windows系统上安装MySQL数据库软件,包括下载、安装、配置和设置环境变量的步骤... 目录mysql的安装图文1.python访问网址2javascript.点击3.进入Downloads向下滑动4.选择Community Server5.
阅读更多...
Windows设置nginx启动端口的方法

Windows设置nginx启动端口的方法

《Windows设置nginx启动端口的方法》在服务器配置与开发过程中,nginx作为一款高效的HTTP和反向代理服务器,被广泛应用,而在Windows系统中,合理设置nginx的启动端口,是确保其正... 目录一、为什么要设置 nginx 启动端口二、设置步骤三、常见问题及解决一、为什么要设置 nginx
阅读更多...
springboot启动流程过程

springboot启动流程过程

《springboot启动流程过程》SpringBoot简化了Spring框架的使用,通过创建`SpringApplication`对象,判断应用类型并设置初始化器和监听器,在`run`方法中,读取配... 目录springboot启动流程springboot程序启动入口1.创建SpringApplicat
阅读更多...
树莓派启动python的实现方法

树莓派启动python的实现方法

《树莓派启动python的实现方法》本文主要介绍了树莓派启动python的实现方法,文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录一、RASPBerry系统设置二、使用sandroidsh连接上开发板Raspberry Pi三、运
阅读更多...
CentOS系统Maven安装教程分享

CentOS系统Maven安装教程分享

《CentOS系统Maven安装教程分享》本文介绍了如何在CentOS系统中安装Maven,并提供了一个简单的实际应用案例,安装Maven需要先安装Java和设置环境变量,Maven可以自动管理项目的... 目录准备工作下载并安装Maven常见问题及解决方法实际应用案例总结Maven是一个流行的项目管理工具
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2