Day:007(4) | Python爬虫:高效数据抓取的编程技术(scrapy框架使用)

本文主要是介绍Day:007(4) | Python爬虫:高效数据抓取的编程技术(scrapy框架使用),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Scrapy 中 Downloader 设置UA

        下载中间件是Scrapy请求/响应处理的钩子框架。这是一个轻、低层次的应用。
        通过可下载中间件,可以处理请求之前和请求之后的数据。
        如果使用下载中间件需要在Scrapy中的setting.py的配置DOWNLOADER_MIDDLEWARES才可以使用,

比如:

DOWNLOADER_MIDDLEWARES = {'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

开发UserAgent下载中间件

问题
每次创建项目后,需要自己复制UserAgent到settings,比较繁琐



解决方案
开发下载中间件,设置UserAgent

代码 

from fake_useragent import UserAgentclass MyUserAgentMiddleware:def process_request(self, request,spider):request.headers.setdefault(b'UserAgent', UserAgent().chrome)

三方模块

pip install scrapy-fake-useragent==1.4.4

配置模块到Setting文件 

DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.useragent.User
AgentMiddleware': None,'scrapy.downloadermiddlewares.retry.RetryMid
dleware': None,'scrapy_fake_useragent.middleware.RandomUser
AgentMiddleware': 400,'scrapy_fake_useragent.middleware.RetryUserA
gentMiddleware': 401,
}

Scrapy 中 Downloader 设置代理 

        爬虫设置代理就是让别的服务器或电脑代替自己的服务器去获取数据

爬虫代理原理

代码

通过 request.meta['proxy'] 可以设置代理,如下: 

class MyProxyDownloaderMiddleware:def process_request(self, request,spider):# request.meta['proxy']='http://ip:port'# request.meta['proxy']='http://name:pwd@ip:port'request.meta['proxy']='http://139.224.211.212:8080'

下载中间件实战-Scrapy与Selenium结合 

        有的页面反爬技术比较高端,一时破解不了,这时我们就是可以考虑使用selenium来降低爬取的难度。

        问题来了,如何将Scrapy与Selenium结合使用呢?

        思考的思路: 只是用Selenium来帮助下载数据。因此可以考虑通过下载中间件来处理这块内容。

具体代码如下:

Spider文件

@classmethod
def from_crawler(cls, crawler, *args,**kwargs):spider = super(BaiduSpider,cls).from_crawler(crawler, *args, **kwargs)spider.chrome =webdriver.Chrome(executable_path='../tools/c
hromedriver.exe')crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)# connect里的参数# 1. 处罚事件后用哪个函数处理# 2. 捕捉哪个事件return spiderdef spider_closed(self, spider):spider.chrome.close()

middlewares文件 

def process_request(self, request, spider):  spider.chrome.get(request.url)html = spider.chrome.page_sourcereturn HtmlResponse(url =request.url,body = html,request =
request,encoding='utf-8')

Scrapy保存数据到多个数据库

目标网站:中国福利彩票网 双色球往期数据

 阳光开奖 (cwl.gov.cn)https://www.cwl.gov.cn/ygkj/wqkjgg/

代码

class MongoPipeline:def open_spider(self, spider):self.client = pymongo.MongoClient()self.ssq = self.client.bjsxt.ssqdef process_item(self, item, spider):if item.get('code') =='2022086':self.ssq.insert_one(item)return itemdef close_spider(self, spider):self.client.close()# pip install pymysql==1.0.2
import pymysql
from scrapy.exceptions import DropItem
class MySQLPipeline:def open_spider(self, spider):# 创建数据库连接self.client =
pymysql.connect(host='192.168.31.151',port=3
306,user='root',password='123',db='bjsxt',ch
arset='utf8')# 获取游标self.cursor = self.client.cursor()def process_item(self, item, spider):if item.get('code') =='2022086':raise DropItem('2022086 数据已经在
mongo保存过了')# 写入数据库SQLsql = 'insert into t_ssq(id,code,red,blue) values (0,%s,%s,%s)'# 写的数据参数args =(item['code'],item['red'],item['blue'])# 执行SQLself.cursor.execute(sql,args)# 提交事务self.client.commit()return itemdef close_spider(self, spider):self.cursor.close()self.client.close()

Scrapy案例 

需求: 爬取二手房数据,要求包含房屋基本信息与详情 

网址: https://bj.lianjia.com/ershoufang/

 爬虫的分布式思维与实现思路

 

        scrapy-redis实现分布式,其实从原理上来说很简单,这里为描述方便,我们把自己的核心服务器称为master,而把用于跑爬虫程序的机器称为slave 

        我们知道,采用scrapy框架抓取网页,我们需要首先给定它一些start_urls,爬虫首先访问start_urls里面的url,再根据我们的具体逻辑,对里面的元素、或者是其他的二级、三级页面进行抓取。而要实现分布式,我们只需要在这个starts_urls里面做文章就行了

        我们在master上搭建一个redis数据库(注意这个数据库只用作url的存储),并对每一个需要爬取的网站类型,都开辟一个单独的列表字段。通过设置slave上scrapy-redis获取url的地址为master地址。这样的结果就是,尽管有多个slave,然而大家获取url的地方只有一个,那就是服务器master上的redis数据库

        并且,由于scrapy-redis自身的队列机制,slave获取的链接不会相互冲突。这样各个slave在完成抓取任务之后,再把获取的结果汇总到服务器上

好处

        程序移植性强,只要处理好路径问题,把slave上的程序移植到另一台机器上运行,基本上就是复制粘贴的事情

分布式爬虫的实现

  • 使用三台机器,一台是windows,两台是centos,分别在两台机器上部署scrapy来进行分布式抓取一个网站
  •  windows的ip地址为 192.168.xxx.XXX ,用来作为redis的master端,centos的机器作为slave
  • master的爬虫运行时会把提取到的url封装成request放到redis中的数据库:“dmoz:requests”,并且从该数据库中提取request后下载网页,再把网页的内容存放到redis的另一个数据库“dmoz:items”
  • slave从master的redis中取出待抓取的request,下载完网页之后就把网页的内容发送回master的redis
  • 重复上面的3和4,直到master的redis中的“dmoz:requests”数据库为空,再把master的redis中的“dmoz:items”数据库写入到mongodb中
  • master里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹(使用哈希函数将url运算后的结果),是防止重复抓取的

scrapy-redis框架的安装 

        一个三方的基于redis的分布式爬虫框架,配合scrapy使用,让爬虫具有了分布式爬取的功能

github地址:

https://github.com/rmax/scrapy-redis

 

安装 

 pip install scrapy-redis==0.7.3

爬虫分布式-搭建Main端Redis

安装Redis

        Redis是有名的NoSql数据库,一般Linux都会默认支持。但在Windows环境中,目前也有支持版本。下载地址也可以GitHub中获取(https://github.com/microsoftarchive/redis/releases)

  • 下载安装包 
  • 下载压缩版,解压即可
  • 修改配置文件 redis.windows.conf ,配置redis参数
    # bind 127.0.0.1 =::1 允许远程访问
    protected-mode no 关闭私有模式
    

     

开启redis服务 

redis-server redis.windows.conf

爬虫分布式-搭建Slave端环境配置

Python环境

python安装与使用的前置环境 

yum install gcc* zlib* libffi-devel bzip2-
devel xz-devel openssl* -y

下载 Python3

yum install wget -y
wget
https://www.python.org/ftp/python/3.9.4/Python-3.9.4.tgz

注意
可在python官网https://www.python.org/downloads/查找最新版本python复制链接,以下文件夹名称均需要替换为对应版本名称

技巧
理论是服务器安装的Python版本与运行环境版本一致。但是也要看服务器是否支持!!

安装 

tar -xf Python-3.9.4.tgz # 解压
cd Python-3.9.4
./configure prefix=/usr/local/python3 --
enable-optimizations #编译
make install # 安装
export PATH=$PATH:/usr/local/python3/bin/ #
配置环境变量
# ~/.bash_profile

安装scrapy
安装scrapy的环境 

提示
如果twisted安装不成功,可以考虑单独下载安装
https://twisted.org/

安装scrapy

 pip3 install scrapy

注意
为了避免安装失败,修改pypi数据源
找到下列文件


~/.pip/pip.conf


在上述文件中添加或修改:


[global]
index-url =http://mirrors.aliyun.com/pypi/simple/


[install]
trusted-host=mirrors.aliyun.com


安装 scrapy-redis 

pip3 install scrapy-redis

 安装 scrapy-fake-useragent

pip3 install scrapy-fake-useragent

这篇关于Day:007(4) | Python爬虫:高效数据抓取的编程技术(scrapy框架使用)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/902144

相关文章

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》:本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数

Redis事务与数据持久化方式

《Redis事务与数据持久化方式》该文档主要介绍了Redis事务和持久化机制,事务通过将多个命令打包执行,而持久化则通过快照(RDB)和追加式文件(AOF)两种方式将内存数据保存到磁盘,以防止数据丢失... 目录一、Redis 事务1.1 事务本质1.2 数据库事务与redis事务1.2.1 数据库事务1.

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python

springboot整合 xxl-job及使用步骤

《springboot整合xxl-job及使用步骤》XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中的任务调度和管理问题,文章详细介绍了XXL-JOB的架构,包括调度中心、执行器和Web... 目录一、xxl-job是什么二、使用步骤1. 下载并运行管理端代码2. 访问管理页面,确认是否启动成功

python 字典d[k]中key不存在的解决方案

《python字典d[k]中key不存在的解决方案》本文主要介绍了在Python中处理字典键不存在时获取默认值的两种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录defaultdict:处理找不到的键的一个选择特殊方法__missing__有时候为了方便起见,