scrapy自动多网页爬取CrawlSpider类（五）

本文主要是介绍scrapy自动多网页爬取CrawlSpider类（五），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一.目的。

自动多网页爬取，这里引出CrawlSpider类，使用更简单方式实现自动爬取。

 

二.热身。

1.CrawlSpider

（1）概念与作用：

它是Spider的派生类，首先在说下Spider，它是所有爬虫的基类，对于它的设计原则是只爬取start_url列表中的网页，而从爬取的网页中获取link并继续爬取的工作CrawlSpider类更适合。

࿰

这篇关于scrapy自动多网页爬取CrawlSpider类（五）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---