Day:007(4) | Python爬虫:高效数据抓取的编程技术(scrapy框架使用)

本文主要是介绍Day:007(4) | Python爬虫:高效数据抓取的编程技术(scrapy框架使用),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Scrapy 中 Downloader 设置UA

        下载中间件是Scrapy请求/响应处理的钩子框架。这是一个轻、低层次的应用。
        通过可下载中间件,可以处理请求之前和请求之后的数据。
        如果使用下载中间件需要在Scrapy中的setting.py的配置DOWNLOADER_MIDDLEWARES才可以使用,

比如:

DOWNLOADER_MIDDLEWARES = {'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

开发UserAgent下载中间件

问题
每次创建项目后,需要自己复制UserAgent到settings,比较繁琐



解决方案
开发下载中间件,设置UserAgent

代码 

from fake_useragent import UserAgentclass MyUserAgentMiddleware:def process_request(self, request,spider):request.headers.setdefault(b'UserAgent', UserAgent().chrome)

三方模块

pip install scrapy-fake-useragent==1.4.4

配置模块到Setting文件 

DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.useragent.User
AgentMiddleware': None,'scrapy.downloadermiddlewares.retry.RetryMid
dleware': None,'scrapy_fake_useragent.middleware.RandomUser
AgentMiddleware': 400,'scrapy_fake_useragent.middleware.RetryUserA
gentMiddleware': 401,
}

Scrapy 中 Downloader 设置代理 

        爬虫设置代理就是让别的服务器或电脑代替自己的服务器去获取数据

爬虫代理原理

代码

通过 request.meta['proxy'] 可以设置代理,如下: 

class MyProxyDownloaderMiddleware:def process_request(self, request,spider):# request.meta['proxy']='http://ip:port'# request.meta['proxy']='http://name:pwd@ip:port'request.meta['proxy']='http://139.224.211.212:8080'

下载中间件实战-Scrapy与Selenium结合 

        有的页面反爬技术比较高端,一时破解不了,这时我们就是可以考虑使用selenium来降低爬取的难度。

        问题来了,如何将Scrapy与Selenium结合使用呢?

        思考的思路: 只是用Selenium来帮助下载数据。因此可以考虑通过下载中间件来处理这块内容。

具体代码如下:

Spider文件

@classmethod
def from_crawler(cls, crawler, *args,**kwargs):spider = super(BaiduSpider,cls).from_crawler(crawler, *args, **kwargs)spider.chrome =webdriver.Chrome(executable_path='../tools/c
hromedriver.exe')crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)# connect里的参数# 1. 处罚事件后用哪个函数处理# 2. 捕捉哪个事件return spiderdef spider_closed(self, spider):spider.chrome.close()

middlewares文件 

def process_request(self, request, spider):  spider.chrome.get(request.url)html = spider.chrome.page_sourcereturn HtmlResponse(url =request.url,body = html,request =
request,encoding='utf-8')

Scrapy保存数据到多个数据库

目标网站:中国福利彩票网 双色球往期数据

 阳光开奖 (cwl.gov.cn)https://www.cwl.gov.cn/ygkj/wqkjgg/

代码

class MongoPipeline:def open_spider(self, spider):self.client = pymongo.MongoClient()self.ssq = self.client.bjsxt.ssqdef process_item(self, item, spider):if item.get('code') =='2022086':self.ssq.insert_one(item)return itemdef close_spider(self, spider):self.client.close()# pip install pymysql==1.0.2
import pymysql
from scrapy.exceptions import DropItem
class MySQLPipeline:def open_spider(self, spider):# 创建数据库连接self.client =
pymysql.connect(host='192.168.31.151',port=3
306,user='root',password='123',db='bjsxt',ch
arset='utf8')# 获取游标self.cursor = self.client.cursor()def process_item(self, item, spider):if item.get('code') =='2022086':raise DropItem('2022086 数据已经在
mongo保存过了')# 写入数据库SQLsql = 'insert into t_ssq(id,code,red,blue) values (0,%s,%s,%s)'# 写的数据参数args =(item['code'],item['red'],item['blue'])# 执行SQLself.cursor.execute(sql,args)# 提交事务self.client.commit()return itemdef close_spider(self, spider):self.cursor.close()self.client.close()

Scrapy案例 

需求: 爬取二手房数据,要求包含房屋基本信息与详情 

网址: https://bj.lianjia.com/ershoufang/

 爬虫的分布式思维与实现思路

 

        scrapy-redis实现分布式,其实从原理上来说很简单,这里为描述方便,我们把自己的核心服务器称为master,而把用于跑爬虫程序的机器称为slave 

        我们知道,采用scrapy框架抓取网页,我们需要首先给定它一些start_urls,爬虫首先访问start_urls里面的url,再根据我们的具体逻辑,对里面的元素、或者是其他的二级、三级页面进行抓取。而要实现分布式,我们只需要在这个starts_urls里面做文章就行了

        我们在master上搭建一个redis数据库(注意这个数据库只用作url的存储),并对每一个需要爬取的网站类型,都开辟一个单独的列表字段。通过设置slave上scrapy-redis获取url的地址为master地址。这样的结果就是,尽管有多个slave,然而大家获取url的地方只有一个,那就是服务器master上的redis数据库

        并且,由于scrapy-redis自身的队列机制,slave获取的链接不会相互冲突。这样各个slave在完成抓取任务之后,再把获取的结果汇总到服务器上

好处

        程序移植性强,只要处理好路径问题,把slave上的程序移植到另一台机器上运行,基本上就是复制粘贴的事情

分布式爬虫的实现

  • 使用三台机器,一台是windows,两台是centos,分别在两台机器上部署scrapy来进行分布式抓取一个网站
  •  windows的ip地址为 192.168.xxx.XXX ,用来作为redis的master端,centos的机器作为slave
  • master的爬虫运行时会把提取到的url封装成request放到redis中的数据库:“dmoz:requests”,并且从该数据库中提取request后下载网页,再把网页的内容存放到redis的另一个数据库“dmoz:items”
  • slave从master的redis中取出待抓取的request,下载完网页之后就把网页的内容发送回master的redis
  • 重复上面的3和4,直到master的redis中的“dmoz:requests”数据库为空,再把master的redis中的“dmoz:items”数据库写入到mongodb中
  • master里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹(使用哈希函数将url运算后的结果),是防止重复抓取的

scrapy-redis框架的安装 

        一个三方的基于redis的分布式爬虫框架,配合scrapy使用,让爬虫具有了分布式爬取的功能

github地址:

https://github.com/rmax/scrapy-redis

 

安装 

 pip install scrapy-redis==0.7.3

爬虫分布式-搭建Main端Redis

安装Redis

        Redis是有名的NoSql数据库,一般Linux都会默认支持。但在Windows环境中,目前也有支持版本。下载地址也可以GitHub中获取(https://github.com/microsoftarchive/redis/releases)

  • 下载安装包 
  • 下载压缩版,解压即可
  • 修改配置文件 redis.windows.conf ,配置redis参数
    # bind 127.0.0.1 =::1 允许远程访问
    protected-mode no 关闭私有模式
    

     

开启redis服务 

redis-server redis.windows.conf

爬虫分布式-搭建Slave端环境配置

Python环境

python安装与使用的前置环境 

yum install gcc* zlib* libffi-devel bzip2-
devel xz-devel openssl* -y

下载 Python3

yum install wget -y
wget
https://www.python.org/ftp/python/3.9.4/Python-3.9.4.tgz

注意
可在python官网https://www.python.org/downloads/查找最新版本python复制链接,以下文件夹名称均需要替换为对应版本名称

技巧
理论是服务器安装的Python版本与运行环境版本一致。但是也要看服务器是否支持!!

安装 

tar -xf Python-3.9.4.tgz # 解压
cd Python-3.9.4
./configure prefix=/usr/local/python3 --
enable-optimizations #编译
make install # 安装
export PATH=$PATH:/usr/local/python3/bin/ #
配置环境变量
# ~/.bash_profile

安装scrapy
安装scrapy的环境 

提示
如果twisted安装不成功,可以考虑单独下载安装
https://twisted.org/

安装scrapy

 pip3 install scrapy

注意
为了避免安装失败,修改pypi数据源
找到下列文件


~/.pip/pip.conf


在上述文件中添加或修改:


[global]
index-url =http://mirrors.aliyun.com/pypi/simple/


[install]
trusted-host=mirrors.aliyun.com


安装 scrapy-redis 

pip3 install scrapy-redis

 安装 scrapy-fake-useragent

pip3 install scrapy-fake-useragent

这篇关于Day:007(4) | Python爬虫:高效数据抓取的编程技术(scrapy框架使用)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/902144

相关文章

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言:为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

Python设置Cookie永不超时的详细指南

《Python设置Cookie永不超时的详细指南》Cookie是一种存储在用户浏览器中的小型数据片段,用于记录用户的登录状态、偏好设置等信息,下面小编就来和大家详细讲讲Python如何设置Cookie... 目录一、Cookie的作用与重要性二、Cookie过期的原因三、实现Cookie永不超时的方法(一)

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四