Scrapy DEBUG:Filterd offsite request 错误

整理于2020年10月下旬，献给不甘平凡的你

更多企业级爬虫知识请查收于：python3 爬虫回忆录_Songsong-CSDN博客

scrapy爬虫

scrapy在迭代爬取时被拒offsite增加dont_filter = True

yield scrapy.Request(url=source_url, callback=self.cf_prase,meta={'title': title, 'source_url': source_url, 'createdAt': createdAt,"indexesCode":indexesCode},)#dont_filter=True

被拒情况如下：

解决办法：将

#dont_filter=True加入 （不用过滤=真）

结果如下：

如上：很显然拿到了结果

Trick:我用的python版本为3.68 。3.68以上的新写法字符串格式 ：在Python如今的版本中，你居然不会f-strings字符串格式化方法？ - 简书