本文主要是介绍[scrapy.core.scraper] ERROR: Spider error processing,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
#scrapy爬虫源代码
#所报的错误全部
本来以为是缺少refer,然后就在settings里面添加了refer:https://github.com/login,发现不起作用
然后又在formrequest中添加了method=‘POST’,还是不行
后来发现所报的bug只有一行与我的源代码有关,“File “f:\Python\爬虫\爬虫学习\第二十三天2.14\github\github\spiders\gt.py”, line 36, in parse”,于是可以确定确定yield scrapy.FormRequest有错误。
看这个报错信息,好像是参数值中有一个参数取到 None 导致的,我们看下打印的参数信息中,发现 ga_id 是 None ,我们再修改一下,当 ga_id 为 None 时,传入“”试试。
然后运行通过。
这篇关于[scrapy.core.scraper] ERROR: Spider error processing的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!