linux下搭建FastDFS图片服务器

2024-05-14 22:38

本文主要是介绍linux下搭建FastDFS图片服务器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、什么是FastDFS

       FastDFS是用c语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

2、FastFDS架构

       FastDFS架构包括Tracker server 和 Storage server 。客户端请求Tracker server 进行文件上传、下载,通过Ttacker server 调度,最总由Storage server 完成文件上传和下载。

       Tracher server 作用是负载均衡和调度,通过Tracker server 在文件上传时可以根据一些策略找到Storage server 提供的文件上传服务。可以将Tracker称为追踪服务器或调度服务器。

       Storage server 的作用是文件存储,,客户端上传的文件最终存储在Storage服务器上,不过Storage server 没有实现自己的文件系统,而是利用操作系统的文件系统来管理文件。可以将Storage称为存储服务器。


                                       FastFSD存储服务器集群示意图

2.1、Tracker集群

       FastDFS集群中的Tracker server 可以有多台,Tracker server 之间以相互平等的关系同时提供服务,Tracker server 不存在单点故障。客户端请求Tracker server 采用轮询的方式 ,如果请求的Tracker无法提供服务则换另一个Tracker。

2.2、Storage集群

       Storage集群采用了分组的方式。Storage集群由一个或多个组构成,集群存储总量为集群中所有组的存储容量之和。一个组由一台或多台存储服务器组成,组内的Storage server 之间是平等关系,不同组的Storage server 之间不会相互通信,同组内的Storage server之间会相互连接进行文件同步,从而保证同组内每个Storage上的文件完全一致。一个组的存储容量为该组内存储服务器容量最小的那个,由此可见组内存储服务器的软硬件配置最好是一致的。

       采用分组存储方式的好处是灵活、可控性较强。比如文件上传时,可以由客户端直接指定上传到的组也可以由tracker进行调度选择。一个分组的存储服务器访问压力较大时,可以在该组增加存储服务器来扩充服务能力(纵向扩容)。当系统容量不足时,可以增加组来扩充存储容量(横向扩容)。

2.3、Storage 状态收集

       Storage server 会连接集群中所有的Tracker server,定时向它们报告自己的状态,包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。

3、文件上传流程

4、文件下载流程

5、上传文件的文件名

       客户端上传文件后存储服务器将文件wenID返回给客户端,此文件ID用于以后访问该文件的索引信息。文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

  • 组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。
  • 虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。
  • 数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
  • 文件名:与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

6、FastDFS搭建

       测试环境:

       使用一台虚拟机来模拟,只有一个Tracker、一个Storage服务。配置nginx访问图片。

6.1、搭建步骤

       FastDFS_v5.05依赖libfastcommon与libevent,总共需要四个软件包。

       - libfastcommon_V1.0.7.tar.gz;

       - fastdfs_V5.05.tar.gz;

       - fastdfs-nginx-module_v1.16.tar.gz;

       - nginx-1.8.0.tar.gz;

6.1.1、软件下载

       - wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

       -wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

       -wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz

       -wget http://nginx.org/download/nginx-1.8.0.tar.gz

6.1.2、安装FastDFS

       安装FastDFS之前先安装依赖包:libevent、libfastcommon。

       yum -y install libevent

       安装libfastcommonV1.0.7工具包:

              1. 解压缩

              2. ./make.sh

              2. ./make.sh install

6.1.3、安装Tracker服务

       1.解压缩

       2. ./make.sh

       3. ./make.sh install

       安装后在/usr/bin/目录下有以fdfs开头的文件都是编译出来的。配置文件都放到/etc/fdfs文件夹。

       4. 把/root/FastDFS/conf目录下的所有的配置文件都复制到/etc/fdfs下。

       5. 配置tracker服务。修改/etc/fdfs/tracker.conf文件第22行。

       

       6. 启动tracker。/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf。重启使用命令:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

6.1.4、安装storage服务

       1. 如果是在多台服务器上安装,6.1.3的1~4需要重复执行。

       2. 配置storage服务。修改/etc/fdfs/storage.conf文件

       

       

    

       3. 启动storage服务。/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start 或 restart

6.1.5 测试服务

       1. 修改配置文件/etc/fdfs/client.conf

      

       

       2. 测试/usr/bin/fdfs_test /etc/fdfs/client.conf upload anti-steal.jpg

       

6.1.6 搭建nginx提供http服务

       可以使用官方提供的nginx插件——fastdfs-nginx-module_v1.16.tar.gz,要使用nginx插件需要重新编译。

       1. 解压插件压缩包——fastdfs-nginx-module_v1.16.tar.gz

       2. 修改/fastdfs-nginx-module/src/config文件,把其中的local去掉。

       

       3. 安装nginx服务器

              3.1 先安装nginx依赖的包

                     - yum install gcc-c++

                     - yum install -y pcre pcre-devel

                     - yum install -y zlib zlib-devel

                     - yum install -y openssl openssl-devel

              3.2 安装nginx

                     1. 解压缩nginx-1.8.0.tar.gz

                     2. 对nginx进行config

                                  ./configure \

                                  –prefix=/usr/local/nginx \

                                  –pid-path=/var/run/nginx/nginx.pid \

                                  –lock-path=/var/lock/nginx.lock \

                                  –error-log-path=/var/log/nginx/error.log \

                                  –http-log-path=/var/log/nginx/access.log \

                                  –with-http_gzip_static_module \

                                  –http-client-body-temp-path=/var/temp/nginx/client \

                                  –http-proxy-temp-path=/var/temp/nginx/proxy \

                                  –http-fastcgi-temp-path=/var/temp/nginx/fastcgi \

                                  –http-uwsgi-temp-path=/var/temp/nginx/uwsgi \

                                  –http-scgi-temp-path=/var/temp/nginx/scgi \

                                  –add-module=/root/Downloads/fastDFS_package/fastdfs-nginx-module/src

                     3. make

                     4. make install

                     5. 把/fastdfs-nginx-module/src/mod_fastdfs.conf文件复制到/etc/fdfs目录下。编辑:

                     

                     6. 配置nginx,在nginx的配置文件中添加一个Server:

                     

                     7. 将libfdfsclient.so拷贝至/usr/lib下 cp /usr/lib64/libfdfsclient.so /usr/lib/

                     8. 启动nginx。

这篇关于linux下搭建FastDFS图片服务器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/990059

相关文章

Linux使用fdisk进行磁盘的相关操作

《Linux使用fdisk进行磁盘的相关操作》fdisk命令是Linux中用于管理磁盘分区的强大文本实用程序,这篇文章主要为大家详细介绍了如何使用fdisk进行磁盘的相关操作,需要的可以了解下... 目录简介基本语法示例用法列出所有分区查看指定磁盘的区分管理指定的磁盘进入交互式模式创建一个新的分区删除一个存

NFS实现多服务器文件的共享的方法步骤

《NFS实现多服务器文件的共享的方法步骤》NFS允许网络中的计算机之间共享资源,客户端可以透明地读写远端NFS服务器上的文件,本文就来介绍一下NFS实现多服务器文件的共享的方法步骤,感兴趣的可以了解一... 目录一、简介二、部署1、准备1、服务端和客户端:安装nfs-utils2、服务端:创建共享目录3、服

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

C#中图片如何自适应pictureBox大小

《C#中图片如何自适应pictureBox大小》文章描述了如何在C#中实现图片自适应pictureBox大小,并展示修改前后的效果,修改步骤包括两步,作者分享了个人经验,希望对大家有所帮助... 目录C#图片自适应pictureBox大小编程修改步骤总结C#图片自适应pictureBox大小上图中“z轴

高效管理你的Linux系统: Debian操作系统常用命令指南

《高效管理你的Linux系统:Debian操作系统常用命令指南》在Debian操作系统中,了解和掌握常用命令对于提高工作效率和系统管理至关重要,本文将详细介绍Debian的常用命令,帮助读者更好地使... Debian是一个流行的linux发行版,它以其稳定性、强大的软件包管理和丰富的社区资源而闻名。在使用

使用Python将长图片分割为若干张小图片

《使用Python将长图片分割为若干张小图片》这篇文章主要为大家详细介绍了如何使用Python将长图片分割为若干张小图片,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. python需求的任务2. Python代码的实现3. 代码修改的位置4. 运行结果1. Python需求

Linux Mint Xia 22.1重磅发布: 重要更新一览

《LinuxMintXia22.1重磅发布:重要更新一览》Beta版LinuxMint“Xia”22.1发布,新版本基于Ubuntu24.04,内核版本为Linux6.8,这... linux Mint 22.1「Xia」正式发布啦!这次更新带来了诸多优化和改进,进一步巩固了 Mint 在 Linux 桌面

LinuxMint怎么安装? Linux Mint22下载安装图文教程

《LinuxMint怎么安装?LinuxMint22下载安装图文教程》LinuxMint22发布以后,有很多新功能,很多朋友想要下载并安装,该怎么操作呢?下面我们就来看看详细安装指南... linux Mint 是一款基于 Ubuntu 的流行发行版,凭借其现代、精致、易于使用的特性,深受小伙伴们所喜爱。对

什么是 Linux Mint? 适合初学者体验的桌面操作系统

《什么是LinuxMint?适合初学者体验的桌面操作系统》今天带你全面了解LinuxMint,包括它的历史、功能、版本以及独特亮点,话不多说,马上开始吧... linux Mint 是一款基于 Ubuntu 和 Debian 的知名发行版,它的用户体验非常友好,深受广大 Linux 爱好者和日常用户的青睐,

Python项目打包部署到服务器的实现

《Python项目打包部署到服务器的实现》本文主要介绍了PyCharm和Ubuntu服务器部署Python项目,包括打包、上传、安装和设置自启动服务的步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录一、准备工作二、项目打包三、部署到服务器四、设置服务自启动一、准备工作开发环境:本文以PyChar