本文主要是介绍小规模爬取豆瓣所出现的问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
闲来无事想去爬爬豆瓣的动漫，然后定期爬取解决下剧荒的问题，发现豆瓣对爬虫的存在并不是很友好。
首先出现的就是验证码的问题，在获得全部的链接后准备逐个访问获取数据时明显感觉到爬取数据有所下降，300个左右的数据用了7分钟左右。其次在爬取300多个数据后，程序报错，返回了response<403>，豆瓣服务器积极拒绝掉了，重新对网页检查了下发现网页的Cookie更换了，但是在更换Cookie后爬了同样的数据后在300的位置又被限制访问了。
要解决的问题很多，先占个坑先。
这篇关于小规模爬取豆瓣所出现的问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
