在服务器上搭建scrapy分布式爬虫环境的过程

2024-08-29 08:08

本文主要是介绍在服务器上搭建scrapy分布式爬虫环境的过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

这段时间在用 scrapy 爬取大众点评美食店铺的信息,由于准备爬取该网站上全国各个城市的信息,单机跑效率肯定是跟不上的,所以只能借助于分布式。scrapy 学习自崔庆才老师的视频,受益颇多,代码简练易懂,风格清新。这里梳理一遍从刚申请的服务器环境配置,python 安装,到搭建能运行分布式爬虫的整个流程。

服务器我是申请的阿里云的学生机,腾讯云和美团云也申请了,相比起来还是阿里云用起来舒服,腾讯云使用体验最差。我装的是 centos 系统,以下也是 centos 下遇到的问题及解决问题的找过的链接。另外阿里云需要添加安全组规则,将后面会用到的端口放行,例如27017,6800等。

从机配置

1.python 的安装

在装过好几台服务器后总结出了最短且有效的装 python 的方法,参考了这篇文章这里简要总结一下

  • yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
  • wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
  • mkdir /usr/local/python3
  • tar -zxvf Python-3.6.3.tgz
  • cd Python-3.6.3
  • ./configure --prefix=/usr/local/python3
  • make && make install
  • ln -s /usr/local/python3/bin/python3 /usr/bin/python3 创建 python3 的软链接
  • ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3 创建 pip3 的软链接
  • 最后命令行下输入pip3python3 -V 验证一下是否都成功

2.mongodb的安装

在从机上都装上 mongodb,爬取的数据都存在各自的服务器上,之后再汇总。这里参考了这篇文章

  • vim /etc/yum.repos.d/mongodb-org-3.4.repo
  • [mongodb-org-3.4] 
    name=MongoDB Repository 
    baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/ 
    gpgcheck=1 
    enabled=1 
    gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc
     
    将以上内容复制粘贴进去刚打开的窗口
  • yum -y install mongodb-org
  • systemctl enable mongod.service 设置开机启动
  • vim /etc/mongod.conf 编辑配置文件,注释掉 bindIp,并重启 mongodb
  • systemctl restart mongod.service 重启 mongodb,这条指令在 mongodb 挂掉时候可以使用
  • systemctl stop mongod.service 停止 mongodb

记录一下刚学习时命令行下的编辑操作,vim 打开文件后,insert 进行编辑,退出编辑 esc,shift+两下Z。查找关键词是:/+关键词

3.利用 pip3 安装 scrapy 等

一般正常顺序先pip3 install scrapy,接着肯定会报requirement Twisted>=13.1.0这种错误,一次偶然我先pip3 install scrapyd发现安装上了最新的 Twisted 组件,接着安装 scrapy也没再报错。所以为了省事,避开报错,建议先安装 scrapyd。

  • pip3 install scrapyd
  • pip3 install scrapy
  • pip3 install pymongo
  • pip3 install redis
  • pip3 install redis-client

安装完以上内容,基本能满足分布式从机的爬取。但是在命令行直接输入scrapy 和 scrapyd 发现会报错,提示command not found,这里可以通过创建软链接解决问题。

  • find / -name scrapy找到系统中scrapy所在的目录,选择在bin目录下的路径
  • ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy 这是在我的路径下创建的软链接
  • scrapy 命令行再输入scrapy发现已经可用

scrapyd 创建软链接的方法与上面一样,其实在后面加个d就好了(笑)

scrapy 创建软链接如下

scrapy创建软链接

scrapyd 创建软链接如下

这里写图片描述

在开启了 scrapyd 服务后发现监听 ip 为本机,想要远程访问需要将配置修改一下。先 ctrl+c 退出 scrapyd,打开 scrapyd 配置文件所在的文件夹

  • cd /usr/local/python3/lib/python3.6/site-packages/scrapyd
  • ls 列出 scrapyd 文件夹下所有文件
  • vim default_scrapyd.conf 打开配置文件
  • bind_address = 0.0.0.0 将绑定 ip 修改为 0.0.0.0,保存退出,再在命令行输入scrapyd会发现监听 ip 发生了变化。

由于从机的scrapyd需要后台运行,这里我采用了setsid scrapyd命令来后台开启服务,这样关闭窗口后仍能进行连接。 
需要结束scrapyd进程时,利用ps -ef | grep -i scrapyd查看PID号,再 kill -9 PID 结束进程。

主机配置

以上完成了从机的配置,接下里配置主机

主机和从机不同在于它需要提供 redis 服务来保存请求队列,所以主要是安装 redis 服务。参考了众多文章后,还是推荐这篇文章 
这里梳理一下过程:

  • yum install gcc
  • wget http://download.redis.io/releases/redis-3.0.6.tar.gz
  • tar zxvf redis-3.0.6.tar.gz
  • cd redis-3.0.6 建议将文件夹名字修改为redis看着简洁一些
  • vim redis.conf 打开 redis 配置文件
  • #bind 127.0.0.1 将绑定 ip 注释掉,以便远程访问
  • daemonize yes 在 redis.conf 中修改该选项为 yes,即后台运行
  • requirepass 后加上登陆密码
  • protected-mode no 关闭保护模式,接着保存退出
  • mkdir /etc/redis 
    cp redis.conf /etc/redis/6379.conf
     将 redis.conf 复制一份名为 6379.conf 到指定目录
  • cd utils 在原redis目录下打开utils文件夹
  • vim redis_init_script 修改启动脚本,并在开头添加如下代码 
    #!/bin/sh 
    #chkconfig: 2345 90 10 
    #description: Redis is a persistent key-value database 
  • cp redis_init_script /etc/init.d/redisd 将启动脚本复制为 redis
  • chkconfig redisd on 设置开机启动
  • service redisd start 启动 redis
  • service redisd stop 关闭 redis

遇到过的问题

以上内容完成了主机上 redis 服务的搭建,不过在使用过程中,遇到了以下报错, 
MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk.Commands that may modify the data set are disabled. Please check Redis logs for details about the error.

原因是强制关闭 Redis 快照导致不能持久化,我采取了下面解决方法

redis-cli -a 密码 进入 redis 客户端,-a 后接之前配置文件中修改的密码 
127.0.0.1:6379> config set stop-writes-on-bgsave-error no 提示 ok 就可以了

通过主机与从机的搭建,分布式运行的条件有了,本地需要pip install scrapyd-client 安装 scrapyd 的客户端插件,另外由于我用的是 windows 系统,curl 命令需要再去下载,scrapyd-deploy 也是无法直接使用的,后来在 github 上找到了解决办法

  • 打开本地 Python\Python36\Scripts 目录
  • 创建名为scrapyd-deploy.bat 的文件
  • 写入"Python\Python36\python.exe" "Python\Python36\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 
    %9

这样就可以是使用 scrapyd-deploy 了,具体使用请阅读官方文档 scrapyd scrapyd-client

这里写图片描述

END


这篇关于在服务器上搭建scrapy分布式爬虫环境的过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1117310

相关文章

NFS实现多服务器文件的共享的方法步骤

《NFS实现多服务器文件的共享的方法步骤》NFS允许网络中的计算机之间共享资源,客户端可以透明地读写远端NFS服务器上的文件,本文就来介绍一下NFS实现多服务器文件的共享的方法步骤,感兴趣的可以了解一... 目录一、简介二、部署1、准备1、服务端和客户端:安装nfs-utils2、服务端:创建共享目录3、服

SpringBoot 整合 Grizzly的过程

《SpringBoot整合Grizzly的过程》Grizzly是一个高性能的、异步的、非阻塞的HTTP服务器框架,它可以与SpringBoot一起提供比传统的Tomcat或Jet... 目录为什么选择 Grizzly?Spring Boot + Grizzly 整合的优势添加依赖自定义 Grizzly 作为

Java中的Opencv简介与开发环境部署方法

《Java中的Opencv简介与开发环境部署方法》OpenCV是一个开源的计算机视觉和图像处理库,提供了丰富的图像处理算法和工具,它支持多种图像处理和计算机视觉算法,可以用于物体识别与跟踪、图像分割与... 目录1.Opencv简介Opencv的应用2.Java使用OpenCV进行图像操作opencv安装j

mysql-8.0.30压缩包版安装和配置MySQL环境过程

《mysql-8.0.30压缩包版安装和配置MySQL环境过程》该文章介绍了如何在Windows系统中下载、安装和配置MySQL数据库,包括下载地址、解压文件、创建和配置my.ini文件、设置环境变量... 目录压缩包安装配置下载配置环境变量下载和初始化总结压缩包安装配置下载下载地址:https://d

将Python应用部署到生产环境的小技巧分享

《将Python应用部署到生产环境的小技巧分享》文章主要讲述了在将Python应用程序部署到生产环境之前,需要进行的准备工作和最佳实践,包括心态调整、代码审查、测试覆盖率提升、配置文件优化、日志记录完... 目录部署前夜:从开发到生产的心理准备与检查清单环境搭建:打造稳固的应用运行平台自动化流水线:让部署像

Python项目打包部署到服务器的实现

《Python项目打包部署到服务器的实现》本文主要介绍了PyCharm和Ubuntu服务器部署Python项目,包括打包、上传、安装和设置自启动服务的步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录一、准备工作二、项目打包三、部署到服务器四、设置服务自启动一、准备工作开发环境:本文以PyChar

springboot整合gateway的详细过程

《springboot整合gateway的详细过程》本文介绍了如何配置和使用SpringCloudGateway构建一个API网关,通过实例代码介绍了springboot整合gateway的过程,需要... 目录1. 添加依赖2. 配置网关路由3. 启用Eureka客户端(可选)4. 创建主应用类5. 自定

gradle安装和环境配置全过程

《gradle安装和环境配置全过程》本文介绍了如何安装和配置Gradle环境,包括下载Gradle、配置环境变量、测试Gradle以及在IntelliJIDEA中配置Gradle... 目录gradle安装和环境配置1 下载GRADLE2 环境变量配置3 测试gradle4 设置gradle初始化文件5 i

java如何分布式锁实现和选型

《java如何分布式锁实现和选型》文章介绍了分布式锁的重要性以及在分布式系统中常见的问题和需求,它详细阐述了如何使用分布式锁来确保数据的一致性和系统的高可用性,文章还提供了基于数据库、Redis和Zo... 目录引言:分布式锁的重要性与分布式系统中的常见问题和需求分布式锁的重要性分布式系统中常见的问题和需求

最新版IDEA配置 Tomcat的详细过程

《最新版IDEA配置Tomcat的详细过程》本文介绍如何在IDEA中配置Tomcat服务器,并创建Web项目,首先检查Tomcat是否安装完成,然后在IDEA中创建Web项目并添加Web结构,接着,... 目录配置tomcat第一步,先给项目添加Web结构查看端口号配置tomcat    先检查自己的to