整理于2020年10月下旬，献给不甘平凡的你 更多企业级爬虫知识请查收于：python3 爬虫回忆录_Songsong-CSDN博客 scrapy爬虫 scrapy在迭代爬取时被拒offsite增加dont_filter = True yield scrapy.Request(url=source_url, callback=self.cf_prase,meta={'title': t