前嗅ForeSpider教程:运行设置(二)

2024-06-02 01:32

本文主要是介绍前嗅ForeSpider教程:运行设置(二),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

今天,小编为大家详细介绍一下:前嗅ForeSpider运行设置中的网络超时,HTTP设置,加载设置,任务模式,这四大模块。具体内容如下:

 

一,网络超时

 

【网络超时】

1. 接收超时

当对方服务器繁忙时,可将接收超时的时间调大,否则软件在超时后将不再接收该链接地址的数据。

 

2. 发送超时

当采集的数据量过大时,可以将发送超时的时间调大。

 

3. 重试次数

网络连接失败后重新连接的次数。网络状态不稳定时,可以将重试次数调大。

 

 

二,http设置

 

【http设置】

 

1. 模拟浏览器版本

模拟不同版本的浏览器。当采集预览或内置浏览器无法打开某网站时,如果是由于内置浏览器的版本造成的,可以在此更改模拟浏览器的版本。(重启软件生效)

 

2. 重定向重试次数

网站重定向的重试次数。

 

三,加载设置

 

【加载设置】

 

1.加载设置

① 禁用JavaScript

【加载设置--完全禁用JavaScript】

对于有些网页,JavaScript只用于美观效果,可以关闭JavaScript,会加快采集速度。在这里设置的为全局的禁用JavaScript。

一般在配置时选择完全禁用。

当选择禁用禁用JavaScript时,对于js脚本采集时就不解析了,直接跳过。

② 完全不禁用JavaScript

【加载设置--完全不禁用JavaScript】

完全不禁用即启用JavaScript,可以启用JavaScript的相关方法。

在这里设置的为全局的完全不禁用JavaScript。

③ 不禁用当前页面

【加载设置--不禁用当前页面】

不禁用当前页面中的当前页指Script标签里面的js,其中不包括src=xxx.js。

在这里设置的为全局的不禁用当前页面。

 

2.禁用SSL协议(https)

不使用https协议,会提升采集速度。

 

四,任务模式

 

【任务模式】

 

1. 启动方式选择自动

打开软件后会自动采集。

 

2.停止方式自动

当选择动态加载的情况下,软件采集完毕时不会自动停止,如果选择了自动,则会自动停止。(不常用功能)

这篇关于前嗅ForeSpider教程:运行设置(二)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1022659

相关文章

Pyserial设置缓冲区大小失败的问题解决

《Pyserial设置缓冲区大小失败的问题解决》本文主要介绍了Pyserial设置缓冲区大小失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录问题描述原因分析解决方案问题描述使用set_buffer_size()设置缓冲区大小后,buf

python连接本地SQL server详细图文教程

《python连接本地SQLserver详细图文教程》在数据分析领域,经常需要从数据库中获取数据进行分析和处理,下面:本文主要介绍python连接本地SQLserver的相关资料,文中通过代码... 目录一.设置本地账号1.新建用户2.开启双重验证3,开启TCP/IP本地服务二js.python连接实例1.

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA

Feign Client超时时间设置不生效的解决方法

《FeignClient超时时间设置不生效的解决方法》这篇文章主要为大家详细介绍了FeignClient超时时间设置不生效的原因与解决方法,具有一定的的参考价值,希望对大家有一定的帮助... 在使用Feign Client时,可以通过两种方式来设置超时时间:1.针对整个Feign Client设置超时时间

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3