爬虫工作量由小到大的思维转变---＜第五十七章 Scrapy 降维挖掘---中间件系列(6)＞

2024-03-26 08:04
文章标签 思维 系列 scrapy 爬虫 工作量 降维 中间件 挖掘 转变 由小到大 第五十七章

本文主要是介绍爬虫工作量由小到大的思维转变---＜第五十七章 Scrapy 降维挖掘---中间件系列(6)＞，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言:

继续上一篇:https://hsnd-91.blog.csdn.net/article/details/136978761

我们继续将探讨Scrapy框架中的三个重要中间件：HTTP压缩中间件、重定向中间件和Cookie中间件。

  1. 首先，HTTP压缩中间件（HttpCompressionMiddleware）能够处理服务器返回的经过压缩的响应内容，并自动进行解压缩，从中获取原始内容。这样的功能对于处理大规模的响应数据非常重要，可以节省带宽并提高爬取效率。
  2. 其次，重定向中间件（RedirectMiddleware）能够处理服务器返回的重定向响应，自动跟随重定向并获取正确的响应。这种中间件对于爬取过程中的网页跳转或链接重定向至关重要，它能够帮助我们轻松地处理这些情况，获取爬取所需的数据。
  3. 最后，Cookie中间件（CookiesMiddleware）具备管理请求和响应中的Cookie的功能。它负责发送包含正确Cookie的请求，并在接收响应时更新Cookie。对于需要在多个请求中保持会话状态或进行用户认证的网站爬取，Cookie中间件发挥着关键作用，帮助我们维护正确的Cookie信息，确保爬虫顺利运行。


        通过深入了解和使用这些中间件，我们能够更好地控制和管理爬虫过程中的请求和响应，提高爬取的成功率和数据的完整性。

正文:

1 HTTP压缩中间件（HttpCompressionMiddleware）

1.1 HTTP压缩的概念与作用

        在网络传输中，数据量较大的响应会占用较多的带宽和传输时间。为了减少传输的数据量，提高网络传输效率，HTTP协议支持使用压缩算法对响应内容进行压缩，减小数据体积。HTTP压缩的作用是通过对响应内容进行压缩，降低响应的大小，从而减少网络传输的数据量，加快数据传输速度。

1.2 HttpCompressionMiddleware的功能与优势

HttpCompressionMiddleware是Scrapy框架中的一个中间件，它提供了对服务器返回的经过压缩的响应内容进行解压缩的功能。它的功能与优势包括：

  • 自动解压缩：HttpCompressionMiddleware会检查服务器返回的响应头中是否包含压缩算法（如Gzip、Deflate），并对压缩的响应内容进行自动解压缩，获取原始内容。
  • 减小数据体积：经过解压缩后的响应内容大小较原始压缩内容更小，可以减少网络传输的数据量，节省带宽资源。
  • 加速响应处理：压缩后的响应内容占用更小的空间，相对于传输大量未压缩的数据，可以更快地进行数据传输和处理。
  • 提高爬取效率：由于数据体积减小，爬虫可以更快地获取响应内容，从而加快爬取速度和提高爬取效率。

1.3 HttpCompressionMiddleware的配置与使用

要使用HttpCompressionMiddleware，需将其添加到Scrapy项目的中间件列表中，按照以下配置步骤进行配置和使用：

  • 步骤1：在项目的settings.py文件中，找到DOWNLOADER_MIDDLEWARES配置项，并添加HttpCompressionMiddleware：
DOWNLOADER_MIDDLEWARES = {'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware': 590,
}

将HttpCompressionMiddleware添加到middleware字典中，并为其指定数字优先级（数字越小，优先级越高）。

  • 步骤2：保存并关闭settings.py文件。现在，Scrapy将在每个下载请求中自动应用HttpCompressionMiddleware。

1.4 示例：使用HttpCompressionMiddleware处理经过压缩的响应

以下是一个使用HttpCompressionMiddleware处理经过压缩的响应的实例：

首先，创建一个名为compression_example的Scrapy项目：

scrapy startproject compression_example

进入项目目录，并新建一个名为compression_spider.py的Spider文件：

import scrapyclass CompressionSpider(scrapy.Spider):name = 'compression'start_urls = ['http://example.com/']def parse(self, response):self.logger.info(f"Response body size: {len(response.body)}")yield {'content': response.text}

我们创建了一个简单的Spider，用于爬取http://example.com/页面的响应内容。

接下来，运行以下命令启动爬虫：

scrapy crawl compression

当爬虫运行时，HttpCompressionMiddleware将会自动检测请求的响应是否经过压缩。如果服务器返回的响应经过压缩，HttpCompressionMiddleware将解压缩响应内容，并输出解压缩后的内容大小。在日志中，我们可以看到类似以下的输出信息：

INFO:root:Response body size: 1234

通过HttpCompressionMiddleware，我们不需要额外的代码或配置即可自动处理经过压缩的响应，并获取原始内容。这样，我们就可以在爬虫中使用解压缩后的响应，例如提取需要的数据。

ps: 如果服务器返回的响应已经是未经压缩的内容，HttpCompressionMiddleware将不会进行解压缩操作，并直接将响应传递给爬虫进行处理。

这个示例展示了如何使用HttpCompressionMiddleware处理经过压缩的响应。通过使用这个中间件，我们可以轻松地在爬取过程中处理压缩的响应，减小数据体积并提高爬取效率。

!!!记住，要使用HttpCompressionMiddleware，确保已经正确配置了中间件，并且服务器返回的响应确实经过了压缩。这样，你就可以享受到HTTP压缩带来的好处，优化网络传输并提高爬取效率。!!!

2 重定向中间件（RedirectMiddleware）

2.1 重定向的概念与作用

        在网络请求过程中，服务器可能会返回一个重定向响应，指示客户端访问另一个URL。重定向是一种常见的HTTP特性，用于跳转到新的URL，提供更好的用户体验和导航。通过重定向，可以执行页面的自动跳转、URL的规范化、网站的访问控制和错误处理等操作。

2.2 RedirectMiddleware的功能与优势

RedirectMiddleware是Scrapy框架中的一个中间件，它用于处理服务器返回的重定向响应。它的功能与优势包括：

  • 自动重定向：RedirectMiddleware会检查服务器返回的响应是否为重定向响应，如果是，它会自动根据重定向的URL发送新的请求。
  • URL规范化：RedirectMiddleware可以将URL进行规范化处理，确保重定向后的URL符合一致的格式和标准，提升爬虫的稳定性和可维护性。
  • 提高爬虫效率：通过自动处理重定向，RedirectMiddleware可以减少需要手动处理重定向的工作量，加快爬取速度和提高爬取效率。
  • 简化爬虫代码：通过使用RedirectMiddleware，爬虫代码不需要处理具体的重定向逻辑，使代码更加简洁和易读。

2.3 RedirectMiddleware的配置与使用

        要使用RedirectMiddleware，需要将其添加到Scrapy项目的中间件列表中，并根据需要进行配置。以下是配置与使用RedirectMiddleware的步骤：

  • 步骤1：在项目的settings.py文件中，找到DOWNLOADER_MIDDLEWARES配置项，并添加RedirectMiddleware：
DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 100,
}

将RedirectMiddleware添加到中间件字典中，并为其指定数字优先级（数字越小，优先级越高）。

  • 步骤2：保存并关闭settings.py文件。现在，Scrapy将在每个下载请求中自动应用RedirectMiddleware。

2.4 示例：使用RedirectMiddleware处理服务器的重定向响应

下面以一个示例来说明如何使用RedirectMiddleware处理服务器的重定向响应。

  • 首先，我们创建一个名为redirect_example的Scrapy项目：
scrapy startproject redirect_example
  • 接下来，进入项目目录，并新建一个名为redirect_spider.py的Spider文件，添加以下代码：
import scrapyclass RedirectSpider(scrapy.Spider):name = 'redirect'start_urls = ['http://example.com/redirect']def parse(self, response):self.logger.info("Original URL: %s", response.url)yield {'content': response.text}

在上述示例中，我们创建了一个简单的Spider，用于爬取http://example.com/redirect页面的内容。该URL会返回一个重定向响应，跳转到新的URL。

运行以下命令启动爬虫：

scrapy crawl redirect

当爬虫运行时，RedirectMiddleware会自动检测服务器返回的响应是否为重定向响应。如果是，RedirectMiddleware将根据重定向的URL发送新的请求，并在日志中输出原始URL和重定向后的URL信息。

通过上述示例，我们可以看到RedirectMiddleware的处理过程：

  • 发起初始请求到http://example.com/redirect。
  • 检测到服务器返回的是一个重定向响应。
  • RedirectMiddleware自动根据重定向的URL发送新的请求。
  • 解析新的响应，并将内容保存。

在日志中，我们可以看到类似以下的输出信息：

INFO:root:Original URL: http://example.com/redirect
INFO:root:Redirecting to http://example.com/new_url

这表示重定向的过程已经成功地被RedirectMiddleware处理了。现在，爬虫将继续处理重定向后的URL，并解析新的响应。


通过以上示例，我们展示了如何使用RedirectMiddleware处理服务器的重定向响应。通过配置和使用RedirectMiddleware，我们可以简化爬虫代码，提高爬取效率，并自动处理重定向，使爬虫更加稳定和可靠。
ps: RedirectMiddleware是Scrapy框架内置的一个中间件，无需额外安装即可使用。它在常规的爬虫开发中发挥着重要的作用，尤其在处理需要跳转的URL时。

3 Cookie中间件（CookiesMiddleware）

3.1 Cookie的概念与作用

        Cookie是一种存储在客户端（通常是浏览器）中的小型文本文件，用于跟踪和存储用户在网站上的信息。当用户访问网站时，服务器可以向客户端发送一个包含Cookie的响应，客户端会将Cookie存储起来，并在后续的请求中将Cookie发送回服务器。Cookie的作用包括：

  1. 会话管理：Cookie可以用于在用户会话之间跟踪状态信息。例如，用户登录后，服务器可以使用Cookie存储用户身份验证令牌，以便在后续请求中验证用户的身份。
  2. 个性化体验：Cookie可以存储用户的首选项和设置，用于提供个性化的网站体验。例如，网站可以记住用户的语言偏好或主题选择。
  3. 购物车功能：当用户在电子商务网站上添加商品到购物车时，Cookie可以用于存储购物车中的商品信息，以便在用户下次访问时保持购物车的状态。
  4. 追踪和分析：通过在Cookie中存储跟踪标识符，网站可以分析用户的行为和访问模式，用于改进产品和优化内容。
  5. 广告定向：许多广告商使用Cookie追踪用户的广告偏好和兴趣，以便提供针对性的广告。

3.2  CookiesMiddleware的功能与优势

CookiesMiddleware是Scrapy框架中的一个中间件，用于处理请求和响应中的Cookie信息。它的主要功能和优势包括：

  1. 管理Cookie：CookiesMiddleware自动管理请求和响应中的Cookie，确保Cookie正确发送到服务器，并在后续请求中自动携带Cookie信息。
  2. 会话维护：CookiesMiddleware可以跟踪和维护会话状态，在连续的请求之间保持会话的一致性。它可以根据服务器的响应更新和添加Cookie，并在发送请求时携带相应的Cookie。
  3. 配置灵活：CookiesMiddleware提供了一些配置选项，例如设置Cookie的存储位置、Expiry时间和域范围等。这使得使用CookiesMiddleware更加灵活和适应不同的需求。
  4. 代码简洁：通过使用CookiesMiddleware，爬虫代码无需手动处理Cookie的提取、存储和发送。中间件会自动处理Cookie的生命周期，减少开发人员的工作量。

3.3. CookiesMiddleware的配置与使用

要使用CookiesMiddleware，需要将其添加到Scrapy项目的中间件列表中，并根据需要进行配置。以下是配置和使用CookiesMiddleware的步骤：

  • 步骤1：在项目的settings.py文件中，找到DOWNLOADER_MIDDLEWARES配置项，并将CookiesMiddleware添加到列表中：
DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
}

将CookiesMiddleware添加到中间件字典中，并为其指定数字优先级（默认为700，可以根据需要调整优先级）。

  • 步骤2：保存并关闭settings.py文件。现在，Scrapy将在每个下载请求中自动应用CookiesMiddleware，并处理请求和响应中的Cookie信息。

3.4 示例：使用CookiesMiddleware管理请求和响应中的Cookie

        演示如何使用CookiesMiddleware在Scrapy项目中管理请求和响应中的Cookie。我们将创建一个爬虫来登录一个虚拟网站并爬取登录后的页面。

  • 首先，我们创建一个新的Scrapy项目：
scrapy startproject cookies_example
  • 接下来，进入项目目录，并创建一个名为login_spider.py的Spider文件，添加以下代码：
import scrapyclass LoginSpider(scrapy.Spider):name = 'login'start_urls = ['http://example.com/login']def parse(self, response):# 获取登录页面的表单数据csrf_token = response.css('input[name="csrf_token"]::attr(value)').get()formdata = {'username': 'your_username','password': 'your_password','csrf_token': csrf_token}# 提交登录请求yield scrapy.FormRequest(url='http://example.com/login', formdata=formdata, callback=self.after_login)def after_login(self, response):# 检查登录是否成功if response.status == 200 and "Welcome" in response.text:self.logger.info("Login successful!")# 在登录后的页面进行进一步爬取# ...else:self.logger.info("Login failed!")

在这个示例中，我们首先发送一个GET请求到登录页面，并从响应中获取到表单的CSRF令牌（隐含的安全性措施）。然后，我们手动构建表单数据，并使用scrapy.FormRequest()发送一个POST请求以完成登录。在登录请求的回调函数after_login()中，我们检查响应状态和内容，判断登录是否成功。


现在，我们需要配置CookiesMiddleware以自动处理请求和响应中的Cookie。打开项目的settings.py文件，添加以下配置项：

DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
}

爬虫将发送登录请求，并自动处理返回的Cookie。在登录成功后，你可以在after_login()函数中进一步爬取您想要的内容。
通过使用CookiesMiddleware，我们能够方便地管理请求和响应中的Cookie，从而简化了爬虫代码。这使得处理会话状态和登录等任务变得更加简单和可靠。

总结

Scrapy框架中三个重要的中间件：HTTP压缩中间件、重定向中间件和Cookie中间件的功能和使用方法。

  1. 首先，HTTP压缩中间件能够处理经过压缩的响应内容，自动解压缩并获取原始内容。这对于处理大规模的响应数据非常重要，可以节省带宽并提高爬取效率。
  2. 其次，重定向中间件能够处理服务器返回的重定向响应，自动跟随重定向并获取正确的响应。这对于处理网页跳转或链接重定向至关重要，帮助我们轻松地获取爬取所需的数据。
  3. 最后，Cookie中间件具备管理请求和响应中的Cookie的功能。它负责发送包含正确Cookie的请求，并在接收响应时更新Cookie。对于需要保持会话状态或进行用户认证的网站爬取，Cookie中间件发挥着关键作用，帮助我们维护正确的Cookie信息，确保爬虫顺利运行。

通过深入了解和使用这些中间件，我们能够更好地控制和管理爬虫过程中的请求和响应，提高爬取的成功率和数据的完整性。使用HTTP压缩中间件可以减小数据体积、加速响应处理和提高爬取效率；重定向中间件可以自动跟随重定向获取正确的响应；Cookie中间件则能够自动处理Cookie信息，方便会话维护和用户认证。

总之，了解并灵活使用这些中间件将使爬虫开发更加高效和可靠。

这篇关于爬虫工作量由小到大的思维转变---＜第五十七章 Scrapy 降维挖掘---中间件系列(6)＞的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/847830。

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

介绍 R语言的扩展物种堆积图是一种数据可视化工具，它不仅展示了物种的堆积结果，还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异，为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0
阅读更多...
Python3 BeautifulSoup爬虫 POJ自动提交

Python3 BeautifulSoup爬虫 POJ自动提交

POJ 提交代码采用Base64加密方式 import http.cookiejarimport loggingimport urllib.parseimport urllib.requestimport base64from bs4 import BeautifulSoupfrom submitcode import SubmitCodeclass SubmitPoj():de
阅读更多...
GPT系列之：GPT-1，GPT-2，GPT-3详细解读

GPT系列之：GPT-1，GPT-2，GPT-3详细解读

一、GPT1 论文：Improving Language Understanding by Generative Pre-Training 链接：https://cdn.openai.com/research-covers/languageunsupervised/language_understanding_paper.pdf 启发点：生成loss和微调loss同时作用，让下游任务来适应预训
阅读更多...
开源分布式数据库中间件

开源分布式数据库中间件

转自：https://www.csdn.net/article/2015-07-16/2825228 MyCat：开源分布式数据库中间件 为什么需要MyCat？ 虽然云计算时代，传统数据库存在着先天性的弊端，但是NoSQL数据库又无法将其替代。如果传统数据易于扩展，可切分，就可以避免单机（单库）的性能缺陷。 MyCat的目标就是：低成本地将现有的单机数据库和应用平滑迁移到“云”端
阅读更多...
Python：豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】

Python：豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】

**爬取豆瓣电影信息，分析近年电影行业的发展情况** 本文是完整的数据分析展现，代码有完整版，包含豆瓣电影爬取的具体方式【附带爬虫豆瓣，数据处理过程，数据分析，可视化，以及完整PPT报告】   最近MBA在学习《商业数据分析》，大实训作业给了数据要进行数据分析，所以先拿豆瓣电影练练手，网络上爬取豆瓣电影TOP250较多，但对于豆瓣电影全数据的爬取教程很少，所以我自己做一版。 目
阅读更多...
Java基础回顾系列-第七天-高级编程之IO

Java基础回顾系列-第七天-高级编程之IO

Java基础回顾系列-第七天-高级编程之IO 文件操作字节流与字符流OutputStream字节输出流FileOutputStream InputStream字节输入流FileInputStream Writer字符输出流FileWriter Reader字符输入流字节流与字符流的区别转换流InputStreamReaderOutputStreamWriter 文件复制 字符编码内存操作流(
阅读更多...
Java基础回顾系列-第五天-高级编程之API类库

Java基础回顾系列-第五天-高级编程之API类库

Java基础回顾系列-第五天-高级编程之API类库 Java基础类库StringBufferStringBuilderStringCharSequence接口AutoCloseable接口RuntimeSystemCleaner对象克隆 数字操作类Math数学计算类Random随机数生成类BigInteger/BigDecimal大数字操作类 日期操作类DateSimpleDateForma
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2