scrapy 爬网站 显示 Filtered offsite request to 错误.

本文主要是介绍scrapy 爬网站 显示 Filtered offsite request to 错误.，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

爬取zol 网站图片,无法抓取.

在 setting.py 文件中 设置 日志 记录等级 

LOG_LEVEL= 'DEBUG'

LOG_FILE ='log.txt'

查看日志 发现报

2015-11-07 14:43:43+0800 [meizitu] DEBUG: Filtered offsite request to 'bbs.zol.com.cn': <GET http://bbs.zol.com.cn/dcbbs/d14_134253.html>

这条日志记录有点奇怪 果断上网百度 ,找到答案 

官方对这个的解释，是你要request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。

yield Request(url, callback=self.parse_item, dont_filter=True)

这篇关于scrapy 爬网站 显示 Filtered offsite request to 错误.的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---