本文主要是介绍Scrapy爬虫遇到ERROR: Error downloading问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
利用scrapy框架爬取城市PM2.5数据,执行时报出ERROR: Error downloading问题
尝试1(未成功)
经过查询,了解到可能是twisted版本的问题,当版本为17以上则会报出此错误,而我安装的twisted为18.9.0的。但是在将twisted版本回滚至16.6.0时,出现了下面的报错
还出现了下方两张截图内的error,在尝试修改setting信息和导包后发现皆没用
将twisted修改回最新版后,该报错消失。看来这次并非是因为twisted版本问题导致的
尝试2
再往下翻日志,看到这样一条信息
提示我的chromedriver并未添加进环境路径内,于是将chromedriver加进Python安装目录bin下
运行,成功!
总结
一个bug背后的原因不一定完全相同,但总要多尝试才能摸清套路,或许下次遇到时就多了一个解决方案呀
这篇关于Scrapy爬虫遇到ERROR: Error downloading问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!