Scrapy DEBUG:Filterd offsite request 错误

2023-10-31 23:59
文章标签 debug 错误 scrapy request filterd offsite

本文主要是介绍Scrapy DEBUG:Filterd offsite request 错误，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

整理于2020年10月下旬，献给不甘平凡的你

更多企业级爬虫知识请查收于：python3 爬虫回忆录_Songsong-CSDN博客

scrapy爬虫

scrapy在迭代爬取时被拒offsite增加dont_filter = True
yield scrapy.Request(url=source_url, callback=self.cf_prase,meta={'title': title, 'source_url': source_url, 'createdAt': createdAt,"indexesCode":indexesCode},)#dont_filter=True

被拒情况如下：

解决办法：将

#dont_filter=True加入 （不用过滤=真）

结果如下：

如上：很显然拿到了结果

Trick:我用的python版本为3.68 。3.68以上的新写法字符串格式 ：在Python如今的版本中，你居然不会f-strings字符串格式化方法？ - 简书

这篇关于Scrapy DEBUG:Filterd offsite request 错误的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/319038。

相关文章

【经验交流】修复系统事件查看器启动不能时出现的4201错误

【经验交流】修复系统事件查看器启动不能时出现的4201错误

方法1，取得『%SystemRoot%\LogFiles』文件夹和『%SystemRoot%\System32\wbem』文件夹的权限（包括这两个文件夹的所有子文件夹的权限），简单点说，就是使你当前的帐户拥有这两个文件夹以及它们的子文件夹的绝对控制权限。这是最简单的方法，不少老外说，这样一弄，倒是解决了问题。不过对我的系统，没用； 方法2，以不带网络的安全模式启动，运行命令行，输入“ne
阅读更多...
SQL2005 性能监视器计数器错误解决方法

SQL2005 性能监视器计数器错误解决方法

【系统环境】 windows 2003 +sql2005 【问题状况】 用户在不正当删除SQL2005后会造成SQL2005 性能监视器计数器错误，如下图 【解决办法】 1、在 “开始” --> “运行”中输入 regedit，开启注册表编辑器，定位到 [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVer
阅读更多...
Vue3上传图片报错：Current request is not a multipart request

Vue3上传图片报错：Current request is not a multipart request

当你看到错误 "Current request is not a multipart request" 时，这通常意味着你的服务器或后端代码期望接收一个 multipart/form-data 类型的请求，但实际上并没有收到这样的请求。在使用 <el-upload> 组件时，如果你已经设置了 http-request 属性来自定义上传行为，并且遇到了这个错误，可能是因为你在发送请求时没有正确地设置
阅读更多...
ssm 之事务管理出现错误

ssm 之事务管理出现错误

JDBC Connection will not be managed by Spring 项目采用的是分布式架构，分别有controller，service，solr三个服务器，之间通过dubbo进行调用，经过测试发现事务配置完以后不能通过spring进行管理，其中两条insert和一条update语句都执行完毕，异常并没有使得事务进行回滚，通过调取debug日志发现“JDBC Conn
阅读更多...
Unstructured cannot write mode RGBA as JPEG 错误解决

Unstructured cannot write mode RGBA as JPEG 错误解决

Unstructured cannot write mode RGBA as JPEG 错误解决 0. 错误详细1. 解决方法 0. 错误详细 Image Extraction Error: Skipping the failed imageTraceback (most recent call last):File "/root/miniconda3/envs/learn-y
阅读更多...
收藏：解决 pip install 出现 error: subprocess-exited-with-error 错误的方法

收藏：解决 pip install 出现 error: subprocess-exited-with-error 错误的方法

在使用 pip 安装 Python 包时，有时候会遇到 error: subprocess-exited-with-error 错误。这种错误通常是由于 setuptools 版本问题引起的。本文将介绍如何解决这一问题 当你使用 pip install 安装某个 Python 包时，如果 setuptools 版本过高或过低，可能会导致安装过程出错，并出现类似以下错误信息：error: subpr
阅读更多...
Nn criterions don’t compute the gradient w.r.t. targets error「pytorch」 (debug笔记)

Nn criterions don’t compute the gradient w.r.t. targets error「pytorch」 (debug笔记)

Nn criterions don’t compute the gradient w.r.t. targets error「pytorch」 ##一、 缘由及解决方法 把这个pytorch-ddpg|github搬到jupyter notebook上运行时，出现错误Nn criterions don’t compute the gradient w.r.t. targets error。注：我用
阅读更多...
插件：清理maven错误缓存.bat

插件：清理maven错误缓存.bat

插件：https://pan.baidu.com/s/1nHIxHoo1C4MvFlW7QbZe5Q?pwd=7zenhttps://pan.baidu.com/s/1nHIxHoo1C4MvFlW7QbZe5Q?pwd=7zen没错误缓存时： 有错误缓存时：
阅读更多...
使用http-request 属性替代action绑定上传URL

使用http-request 属性替代action绑定上传URL

在 Element UI 的 <el-upload> 组件中，如果你需要为上传的 HTTP 请求添加自定义的请求头（例如，为了通过身份验证或满足服务器端的特定要求），你不能直接在 <el-upload> 组件的属性中设置这些请求头。但是，你可以通过 http-request 属性来自定义上传的行为，包括设置请求头。 http-request 属性允许你完全控制上传的行为，包括如何构建请求、发送请
阅读更多...
在幼儿园管理系统中，会议管理申请会议模块：添加会议记录（提交表单）的时候报：404错误！

在幼儿园管理系统中，会议管理申请会议模块：添加会议记录（提交表单）的时候报：404错误！

在幼儿园管理系统（spring MVC）中，会议管理>申请会议模块：添加会议记录的时候报：404错误！不知道为啥找不到，一开始感觉一头雾水，怎么会出现404页面找不到错误那，又检查action，controller等这也没错啊！怎么出现404错误那。经过询问和查找，终于找到原因了。 原因是：添加的有时间字段。 代码： @InitBinder public void in
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2