爬虫工作量由小到大的思维转变---＜第五十七章 Scrapy 降维挖掘---中间件系列(6)＞

2024-03-26 08:04
文章标签 思维 系列 scrapy 爬虫 工作量 降维 中间件 挖掘 转变 由小到大 第五十七章

本文主要是介绍爬虫工作量由小到大的思维转变---＜第五十七章 Scrapy 降维挖掘---中间件系列(6)＞，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言:

继续上一篇:https://hsnd-91.blog.csdn.net/article/details/136978761

我们继续将探讨Scrapy框架中的三个重要中间件：HTTP压缩中间件、重定向中间件和Cookie中间件。

  1. 首先，HTTP压缩中间件（HttpCompressionMiddleware）能够处理服务器返回的经过压缩的响应内容，并自动进行解压缩，从中获取原始内容。这样的功能对于处理大规模的响应数据非常重要，可以节省带宽并提高爬取效率。
  2. 其次，重定向中间件（RedirectMiddleware）能够处理服务器返回的重定向响应，自动跟随重定向并获取正确的响应。这种中间件对于爬取过程中的网页跳转或链接重定向至关重要，它能够帮助我们轻松地处理这些情况，获取爬取所需的数据。
  3. 最后，Cookie中间件（CookiesMiddleware）具备管理请求和响应中的Cookie的功能。它负责发送包含正确Cookie的请求，并在接收响应时更新Cookie。对于需要在多个请求中保持会话状态或进行用户认证的网站爬取，Cookie中间件发挥着关键作用，帮助我们维护正确的Cookie信息，确保爬虫顺利运行。


        通过深入了解和使用这些中间件，我们能够更好地控制和管理爬虫过程中的请求和响应，提高爬取的成功率和数据的完整性。

正文:

1 HTTP压缩中间件（HttpCompressionMiddleware）

1.1 HTTP压缩的概念与作用

        在网络传输中，数据量较大的响应会占用较多的带宽和传输时间。为了减少传输的数据量，提高网络传输效率，HTTP协议支持使用压缩算法对响应内容进行压缩，减小数据体积。HTTP压缩的作用是通过对响应内容进行压缩，降低响应的大小，从而减少网络传输的数据量，加快数据传输速度。

1.2 HttpCompressionMiddleware的功能与优势

HttpCompressionMiddleware是Scrapy框架中的一个中间件，它提供了对服务器返回的经过压缩的响应内容进行解压缩的功能。它的功能与优势包括：

  • 自动解压缩：HttpCompressionMiddleware会检查服务器返回的响应头中是否包含压缩算法（如Gzip、Deflate），并对压缩的响应内容进行自动解压缩，获取原始内容。
  • 减小数据体积：经过解压缩后的响应内容大小较原始压缩内容更小，可以减少网络传输的数据量，节省带宽资源。
  • 加速响应处理：压缩后的响应内容占用更小的空间，相对于传输大量未压缩的数据，可以更快地进行数据传输和处理。
  • 提高爬取效率：由于数据体积减小，爬虫可以更快地获取响应内容，从而加快爬取速度和提高爬取效率。

1.3 HttpCompressionMiddleware的配置与使用

要使用HttpCompressionMiddleware，需将其添加到Scrapy项目的中间件列表中，按照以下配置步骤进行配置和使用：

  • 步骤1：在项目的settings.py文件中，找到DOWNLOADER_MIDDLEWARES配置项，并添加HttpCompressionMiddleware：
DOWNLOADER_MIDDLEWARES = {'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware': 590,
}

将HttpCompressionMiddleware添加到middleware字典中，并为其指定数字优先级（数字越小，优先级越高）。

  • 步骤2：保存并关闭settings.py文件。现在，Scrapy将在每个下载请求中自动应用HttpCompressionMiddleware。

1.4 示例：使用HttpCompressionMiddleware处理经过压缩的响应

以下是一个使用HttpCompressionMiddleware处理经过压缩的响应的实例：

首先，创建一个名为compression_example的Scrapy项目：

scrapy startproject compression_example

进入项目目录，并新建一个名为compression_spider.py的Spider文件：

import scrapyclass CompressionSpider(scrapy.Spider):name = 'compression'start_urls = ['http://example.com/']def parse(self, response):self.logger.info(f"Response body size: {len(response.body)}")yield {'content': response.text}

我们创建了一个简单的Spider，用于爬取http://example.com/页面的响应内容。

接下来，运行以下命令启动爬虫：

scrapy crawl compression

当爬虫运行时，HttpCompressionMiddleware将会自动检测请求的响应是否经过压缩。如果服务器返回的响应经过压缩，HttpCompressionMiddleware将解压缩响应内容，并输出解压缩后的内容大小。在日志中，我们可以看到类似以下的输出信息：

INFO:root:Response body size: 1234

通过HttpCompressionMiddleware，我们不需要额外的代码或配置即可自动处理经过压缩的响应，并获取原始内容。这样，我们就可以在爬虫中使用解压缩后的响应，例如提取需要的数据。

ps: 如果服务器返回的响应已经是未经压缩的内容，HttpCompressionMiddleware将不会进行解压缩操作，并直接将响应传递给爬虫进行处理。

这个示例展示了如何使用HttpCompressionMiddleware处理经过压缩的响应。通过使用这个中间件，我们可以轻松地在爬取过程中处理压缩的响应，减小数据体积并提高爬取效率。

!!!记住，要使用HttpCompressionMiddleware，确保已经正确配置了中间件，并且服务器返回的响应确实经过了压缩。这样，你就可以享受到HTTP压缩带来的好处，优化网络传输并提高爬取效率。!!!

2 重定向中间件（RedirectMiddleware）

2.1 重定向的概念与作用

        在网络请求过程中，服务器可能会返回一个重定向响应，指示客户端访问另一个URL。重定向是一种常见的HTTP特性，用于跳转到新的URL，提供更好的用户体验和导航。通过重定向，可以执行页面的自动跳转、URL的规范化、网站的访问控制和错误处理等操作。

2.2 RedirectMiddleware的功能与优势

RedirectMiddleware是Scrapy框架中的一个中间件，它用于处理服务器返回的重定向响应。它的功能与优势包括：

  • 自动重定向：RedirectMiddleware会检查服务器返回的响应是否为重定向响应，如果是，它会自动根据重定向的URL发送新的请求。
  • URL规范化：RedirectMiddleware可以将URL进行规范化处理，确保重定向后的URL符合一致的格式和标准，提升爬虫的稳定性和可维护性。
  • 提高爬虫效率：通过自动处理重定向，RedirectMiddleware可以减少需要手动处理重定向的工作量，加快爬取速度和提高爬取效率。
  • 简化爬虫代码：通过使用RedirectMiddleware，爬虫代码不需要处理具体的重定向逻辑，使代码更加简洁和易读。

2.3 RedirectMiddleware的配置与使用

        要使用RedirectMiddleware，需要将其添加到Scrapy项目的中间件列表中，并根据需要进行配置。以下是配置与使用RedirectMiddleware的步骤：

  • 步骤1：在项目的settings.py文件中，找到DOWNLOADER_MIDDLEWARES配置项，并添加RedirectMiddleware：
DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 100,
}

将RedirectMiddleware添加到中间件字典中，并为其指定数字优先级（数字越小，优先级越高）。

  • 步骤2：保存并关闭settings.py文件。现在，Scrapy将在每个下载请求中自动应用RedirectMiddleware。

2.4 示例：使用RedirectMiddleware处理服务器的重定向响应

下面以一个示例来说明如何使用RedirectMiddleware处理服务器的重定向响应。

  • 首先，我们创建一个名为redirect_example的Scrapy项目：
scrapy startproject redirect_example
  • 接下来，进入项目目录，并新建一个名为redirect_spider.py的Spider文件，添加以下代码：
import scrapyclass RedirectSpider(scrapy.Spider):name = 'redirect'start_urls = ['http://example.com/redirect']def parse(self, response):self.logger.info("Original URL: %s", response.url)yield {'content': response.text}

在上述示例中，我们创建了一个简单的Spider，用于爬取http://example.com/redirect页面的内容。该URL会返回一个重定向响应，跳转到新的URL。

运行以下命令启动爬虫：

scrapy crawl redirect

当爬虫运行时，RedirectMiddleware会自动检测服务器返回的响应是否为重定向响应。如果是，RedirectMiddleware将根据重定向的URL发送新的请求，并在日志中输出原始URL和重定向后的URL信息。

通过上述示例，我们可以看到RedirectMiddleware的处理过程：

  • 发起初始请求到http://example.com/redirect。
  • 检测到服务器返回的是一个重定向响应。
  • RedirectMiddleware自动根据重定向的URL发送新的请求。
  • 解析新的响应，并将内容保存。

在日志中，我们可以看到类似以下的输出信息：

INFO:root:Original URL: http://example.com/redirect
INFO:root:Redirecting to http://example.com/new_url

这表示重定向的过程已经成功地被RedirectMiddleware处理了。现在，爬虫将继续处理重定向后的URL，并解析新的响应。


通过以上示例，我们展示了如何使用RedirectMiddleware处理服务器的重定向响应。通过配置和使用RedirectMiddleware，我们可以简化爬虫代码，提高爬取效率，并自动处理重定向，使爬虫更加稳定和可靠。
ps: RedirectMiddleware是Scrapy框架内置的一个中间件，无需额外安装即可使用。它在常规的爬虫开发中发挥着重要的作用，尤其在处理需要跳转的URL时。

3 Cookie中间件（CookiesMiddleware）

3.1 Cookie的概念与作用

        Cookie是一种存储在客户端（通常是浏览器）中的小型文本文件，用于跟踪和存储用户在网站上的信息。当用户访问网站时，服务器可以向客户端发送一个包含Cookie的响应，客户端会将Cookie存储起来，并在后续的请求中将Cookie发送回服务器。Cookie的作用包括：

  1. 会话管理：Cookie可以用于在用户会话之间跟踪状态信息。例如，用户登录后，服务器可以使用Cookie存储用户身份验证令牌，以便在后续请求中验证用户的身份。
  2. 个性化体验：Cookie可以存储用户的首选项和设置，用于提供个性化的网站体验。例如，网站可以记住用户的语言偏好或主题选择。
  3. 购物车功能：当用户在电子商务网站上添加商品到购物车时，Cookie可以用于存储购物车中的商品信息，以便在用户下次访问时保持购物车的状态。
  4. 追踪和分析：通过在Cookie中存储跟踪标识符，网站可以分析用户的行为和访问模式，用于改进产品和优化内容。
  5. 广告定向：许多广告商使用Cookie追踪用户的广告偏好和兴趣，以便提供针对性的广告。

3.2  CookiesMiddleware的功能与优势

CookiesMiddleware是Scrapy框架中的一个中间件，用于处理请求和响应中的Cookie信息。它的主要功能和优势包括：

  1. 管理Cookie：CookiesMiddleware自动管理请求和响应中的Cookie，确保Cookie正确发送到服务器，并在后续请求中自动携带Cookie信息。
  2. 会话维护：CookiesMiddleware可以跟踪和维护会话状态，在连续的请求之间保持会话的一致性。它可以根据服务器的响应更新和添加Cookie，并在发送请求时携带相应的Cookie。
  3. 配置灵活：CookiesMiddleware提供了一些配置选项，例如设置Cookie的存储位置、Expiry时间和域范围等。这使得使用CookiesMiddleware更加灵活和适应不同的需求。
  4. 代码简洁：通过使用CookiesMiddleware，爬虫代码无需手动处理Cookie的提取、存储和发送。中间件会自动处理Cookie的生命周期，减少开发人员的工作量。

3.3. CookiesMiddleware的配置与使用

要使用CookiesMiddleware，需要将其添加到Scrapy项目的中间件列表中，并根据需要进行配置。以下是配置和使用CookiesMiddleware的步骤：

  • 步骤1：在项目的settings.py文件中，找到DOWNLOADER_MIDDLEWARES配置项，并将CookiesMiddleware添加到列表中：
DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
}

将CookiesMiddleware添加到中间件字典中，并为其指定数字优先级（默认为700，可以根据需要调整优先级）。

  • 步骤2：保存并关闭settings.py文件。现在，Scrapy将在每个下载请求中自动应用CookiesMiddleware，并处理请求和响应中的Cookie信息。

3.4 示例：使用CookiesMiddleware管理请求和响应中的Cookie

        演示如何使用CookiesMiddleware在Scrapy项目中管理请求和响应中的Cookie。我们将创建一个爬虫来登录一个虚拟网站并爬取登录后的页面。

  • 首先，我们创建一个新的Scrapy项目：
scrapy startproject cookies_example
  • 接下来，进入项目目录，并创建一个名为login_spider.py的Spider文件，添加以下代码：
import scrapyclass LoginSpider(scrapy.Spider):name = 'login'start_urls = ['http://example.com/login']def parse(self, response):# 获取登录页面的表单数据csrf_token = response.css('input[name="csrf_token"]::attr(value)').get()formdata = {'username': 'your_username','password': 'your_password','csrf_token': csrf_token}# 提交登录请求yield scrapy.FormRequest(url='http://example.com/login', formdata=formdata, callback=self.after_login)def after_login(self, response):# 检查登录是否成功if response.status == 200 and "Welcome" in response.text:self.logger.info("Login successful!")# 在登录后的页面进行进一步爬取# ...else:self.logger.info("Login failed!")

在这个示例中，我们首先发送一个GET请求到登录页面，并从响应中获取到表单的CSRF令牌（隐含的安全性措施）。然后，我们手动构建表单数据，并使用scrapy.FormRequest()发送一个POST请求以完成登录。在登录请求的回调函数after_login()中，我们检查响应状态和内容，判断登录是否成功。


现在，我们需要配置CookiesMiddleware以自动处理请求和响应中的Cookie。打开项目的settings.py文件，添加以下配置项：

DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
}

爬虫将发送登录请求，并自动处理返回的Cookie。在登录成功后，你可以在after_login()函数中进一步爬取您想要的内容。
通过使用CookiesMiddleware，我们能够方便地管理请求和响应中的Cookie，从而简化了爬虫代码。这使得处理会话状态和登录等任务变得更加简单和可靠。

总结

Scrapy框架中三个重要的中间件：HTTP压缩中间件、重定向中间件和Cookie中间件的功能和使用方法。

  1. 首先，HTTP压缩中间件能够处理经过压缩的响应内容，自动解压缩并获取原始内容。这对于处理大规模的响应数据非常重要，可以节省带宽并提高爬取效率。
  2. 其次，重定向中间件能够处理服务器返回的重定向响应，自动跟随重定向并获取正确的响应。这对于处理网页跳转或链接重定向至关重要，帮助我们轻松地获取爬取所需的数据。
  3. 最后，Cookie中间件具备管理请求和响应中的Cookie的功能。它负责发送包含正确Cookie的请求，并在接收响应时更新Cookie。对于需要保持会话状态或进行用户认证的网站爬取，Cookie中间件发挥着关键作用，帮助我们维护正确的Cookie信息，确保爬虫顺利运行。

通过深入了解和使用这些中间件，我们能够更好地控制和管理爬虫过程中的请求和响应，提高爬取的成功率和数据的完整性。使用HTTP压缩中间件可以减小数据体积、加速响应处理和提高爬取效率；重定向中间件可以自动跟随重定向获取正确的响应；Cookie中间件则能够自动处理Cookie信息，方便会话维护和用户认证。

总之，了解并灵活使用这些中间件将使爬虫开发更加高效和可靠。

这篇关于爬虫工作量由小到大的思维转变---＜第五十七章 Scrapy 降维挖掘---中间件系列(6)＞的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/847830。

相关文章

如何突破底层思维方式的牢笼

如何突破底层思维方式的牢笼

我始终认为，牛人和普通人的根本区别在于思维方式的不同，而非知识多少、阅历多少。 在这个世界上总有一帮神一样的人物存在。就像读到的那句话：“人类就像是一条历史长河中的鱼，只有某几条鱼跳出河面，看到世界的法则，但是却无法改变，当那几条鱼中有跳上岸，进化了，改变河道流向，那样才能改变法则。”  最近一段时间一直在不断寻在内心的东西，同时也在不断的去反省和否定自己的一些思维模式，尝试重
阅读更多...
四、原型模式思维导图

四、原型模式思维导图

阅读更多...
JavaWeb系列二十: jQuery的DOM操作 下

JavaWeb系列二十: jQuery的DOM操作 下

jQuery的DOM操作 CSS-DOM操作多选框案例页面加载完毕触发方法作业布置jQuery获取选中复选框的值jQuery控制checkbox被选中jQuery控制(全选/全不选/反选)jQuery动态添加删除用户 CSS-DOM操作 获取和设置元素的样式属性: css()获取和设置元素透明度: opacity属性获取和设置元素高度, 宽度: height(), widt
阅读更多...
Python爬虫-贝壳新房

Python爬虫-贝壳新房

前言 本文是该专栏的第32篇，后面会持续分享python爬虫干货知识，记得关注。 本文以某房网为例，如下图所示，采集对应城市的新房房源数据。具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码） 正文 地址：aHR0cHM6Ly93aC5mYW5nLmtlLmNvbS9sb3VwYW4v 目标：采集对应城市的
阅读更多...
C语言入门系列：探秘二级指针与多级指针的奇妙世界

C语言入门系列：探秘二级指针与多级指针的奇妙世界

文章目录 一，指针的回忆杀1，指针的概念2，指针的声明和赋值3，指针的使用3.1 直接给指针变量赋值3.2 通过*运算符读写指针指向的内存3.2.1 读3.2.2 写 二，二级指针详解1，定义2，示例说明3，二级指针与一级指针、普通变量的关系3.1，与一级指针的关系3.2，与普通变量的关系,示例说明 4，二级指针的常见用途5，二级指针扩展到多级指针 小结 C语言的学习之旅中，二级
阅读更多...
JavaWeb系列六: 动态WEB开发核心(Servlet) 上

JavaWeb系列六: 动态WEB开发核心(Servlet) 上

韩老师学生 官网文档为什么会出现Servlet什么是ServletServlet在JavaWeb项目位置Servlet基本使用Servlet开发方式说明快速入门- 手动开发 servlet浏览器请求Servlet UML分析Servlet生命周期GET和POST请求分发处理通过继承HttpServlet开发ServletIDEA配置ServletServlet注意事项和细节 Servlet注
阅读更多...
C语言入门系列：初识函数

C语言入门系列：初识函数

文章目录 一，C语言函数与数学函数的区别1，回忆杀-初中数学2，C语言中的函数 二， 函数的声明1，函数头1.1，函数名称1.2，返回值类型1.3，参数列表 2，函数体2.1，函数体2.2，return语句 三，main函数四，函数的参数与传递方式1，实参和形参1.1，函数定义（含形参）1.2，函数调用（使用实参） 2，参数传递方式2.1，值传递2.2，引用传递 五，函数原型与预声明1，
阅读更多...
django学习入门系列之第三点《案例 小米商城头标》

django学习入门系列之第三点《案例 小米商城头标》

文章目录 阴影案例 小米商城头标往期回顾 阴影 设置阴影 box-shadow:水平方向 垂直方向 模糊距离 颜色 box-shadow: 5px 5px 5px #aaa; 案例 小米商城头标 目标样式： CSS中的代码 /*使外边距等于0，即让边框与界面贴合*/body{margin: 0;}/*控制父级边框*/.header{backgroun
阅读更多...
爬虫阶段思考

爬虫阶段思考

内容：写这篇文章是因为最近帮同学改了很多的爬虫代码，感触良多。 我用豆瓣为例，并不是不会用别的，而是这个我个人感觉最经典。然后还会写我遇到的一些问题以及解决方法。 首先，我们得先知道怎样爬取。我用的scrapy框架爬取。 我对此图的理解就是： 从spiders中获得一个请求（REQUEST），通过引擎传递给调度器，之后再返回给引擎，引擎把url封装好后传递给下载器，下载器将资源下载好后
阅读更多...
MyBatis系列之分页插件及问题

MyBatis系列之分页插件及问题

概述 无论是C端产品页面，还是后台系统页面，不可能一次性将全部数据加载出来。后台系统一般都是PC端登录，用Table组件（如Ant Design Table）渲染展示数据，可点击列表的下一页（或指定某一页）查看数据。C端产品如App，在下滑时可查看更多数据，看起来像是一次性加载数据，实际上也是分批请求后台系统获取数据。而这，就是分页功能。 如果没有使用Hibernate或MyBatis这样的O
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2