WebMagic高级用法

2024-04-30 09:32
文章标签 用法 高级 webmagic

本文主要是介绍WebMagic高级用法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Maven依赖

<dependencies><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.7.3</version></dependency><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-extension</artifactId><version>0.7.3</version></dependency></dependencies>

设置PageProcessor

设置请求header、cookie，很多网站都要专门的header才能正确网站，否则会出现访问错误

使用skip来阻止pipline处理

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;public class GithubRepoPageProcessor implements PageProcessor {private Site site = Site.me().setRetryTimes(3).setSleepTime(1000).setTimeOut(10000).addHeader("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36");@Overridepublic void process(Page page) {if(!page.getUrl().toString().startsWith("https://github.com/code4craft")){//skip为true，则不会通知pipeline处理page.setSkip(true);}page.addTargetRequests(page.getHtml().links().regex("https://github\\.com/code4craft.*").all());}@Overridepublic Site getSite() {//header、cookie在Site对象里面设置return site;}public static void main(String[] args) {Spider.create(new GithubRepoPageProcessor()).addUrl("https://github.com/code4craft").thread(1).run();}
}

设置pipline

自定义实现爬取数据的输出，比如调用http接口上传数据

package com.lenovo.spider;import java.io.File;
import java.io.IOException;
import java.util.Date;
import java.util.List;
import java.util.Map;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.atomic.AtomicInteger;import org.apache.commons.io.FileUtils;
import org.apache.commons.lang3.math.NumberUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import com.lenovo.exception.NetException;
import com.lenovo.spider.http.HttpInterface;import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;public class QiChaChaPipline implements Pipeline {private Logger logger = LoggerFactory.getLogger("spider");private static AtomicInteger uploadCount;private static ScheduledExecutorService threadPool = Executors.newScheduledThreadPool(1);private static final LinkedBlockingQueue<JSONObject> dataQueue = new LinkedBlockingQueue<>(100 * 10000);public QiChaChaPipline() {threadPool.execute(() -> upload());}@Overridepublic void process(ResultItems resultItems, Task task) {JSONObject company = new JSONObject(resultItems.get("company_map"));dataQueue.offer(company);}public void upload() {while (true) {JSONObject company = null;try {company = dataQueue.take();} catch (InterruptedException e1) {}if (company != null) {try {HttpInterface.uploadCompanyInfo(company);logger.info(company.toString());logger.debug("上传统计：" + uploadCount.incrementAndGet());} catch (NetException e) {dataQueue.offer(company);}}}}
}
QiChaChaPipline pipline = new QiChaChaPipline();
spider.addPipeline(pipline);

设置downloader

WebMagic默认使用HttpClientDownloader，如果要在下载失败后切换代理ip如下：

Spider spider = Spider.create(new GithubRepoPageProcessor()).addUrl("https://github.com/code4craft").thread(1);HttpClientDownloader downloader = new HttpClientDownloader(){@Overrideprotected void onError(Request request) {setProxyProvider(SimpleProxyProvider.from(new Proxy("10.10.10.10", 8888)));}};spider.setDownloader(downloader);

使用SelenuimDownloader下载js动态渲染过后的网页，不过SelenuimDownloader有点软肋就是默认的WebDriverPool不能设置代理ip，要能设置代理ip必须重写WebDriverPool和SelenuimDownloader

设置scheduler

默认的scheduler就会自动去重已经爬取过的url

使用RedisScheduler实现分布式爬虫，共享爬取队列，重启爬虫不会导致从头开始爬

RedisScheduler scheduler = new RedisScheduler(new JedisPool("10.100.124.206", 6379));
//    	FileCacheQueueScheduler scheduler = new FileCacheQueueScheduler("urls");
//    	QueueScheduler scheduler = new QueueScheduler();
spider.setScheduler(scheduler);

设置spider

设置页面下载成功、失败的监听器，方便失败的时候做一些善后处理，比如把失败的url再加入到爬取队列里面，这样就不会遗漏一些页面的爬取

手动添加爬去url到待爬队列，通过设置Request.CYCLE_TRIED_TIMES设置失败重试次数，可以强制把url加到待爬队列里面，避免去重机制把url看成已爬过的

ArrayList<SpiderListener> listeners = new ArrayList<>();listeners.add(new SpiderListener() {@Overridepublic void onSuccess(Request request) {}@Overridepublic void onError(Request request) {Integer cycleTriedTimes = 
(Integer)request.getExtra(Request.CYCLE_TRIED_TIMES);request.putExtra(Request.CYCLE_TRIED_TIMES, cycleTriedTimes == null ? 1 : cycleTriedTimes + 1);spider.addRequest(request);}});spider.setSpiderListeners(listeners);

尽量使用xpath

因为css选择器语法各开源支持有很多细节的不统一，而xpath有统一的标准，一般不会出错

打印WebMagic框架内日志

WebMagic使用的是slf4j api打印日志，只需加入log4j.xml日志配置文件到classpath路径就可以打印日志

<?xml version="1.0" encoding="UTF-8"?>    
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd"><log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/'><appender name="consoleAppender" class="org.apache.log4j.ConsoleAppender"><layout class="org.apache.log4j.PatternLayout"><param name="ConversionPattern" value="[%p] [%d{yyyy-MM-dd HH:mm:ss}] [%l] [%t] %m%n" /></layout></appender><root><priority value="debug" /><appender-ref ref="consoleAppender" /></root></log4j:configuration>

这篇关于WebMagic高级用法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/948499。

相关文章

#error用法

#error用法

/* *检查编译此源文件的编译器是不是C++编译器 *如果使用的是C语言编译器则执行#error命令 *如果使用的是 C++ 编译器则跳过#error命令 */ #ifndef __cplusplus #error 亲，您当前使用的不是C++编译器噢！ #endif #include <stdio.h> int main() {
阅读更多...
Javascript高级程序设计(第四版)--学习记录之变量、内存

Javascript高级程序设计(第四版)--学习记录之变量、内存

原始值与引用值 原始值：简单的数据即基础数据类型，按值访问。 引用值：由多个值构成的对象即复杂数据类型，按引用访问。 动态属性 对于引用值而言，可以随时添加、修改和删除其属性和方法。 let person = new Object();person.name = 'Jason';person.age = 42;console.log(person.name,person.age);//'J
阅读更多...
SQL Server中，isnull（）函数以及null的用法

SQL Server中，isnull（）函数以及null的用法

SQL Serve中的isnull()函数：          isnull(value1,value2)         1、value1与value2的数据类型必须一致。         2、如果value1的值不为null，结果返回value1。         3、如果value1为null，结果返回vaule2的值。vaule2是你设定的值。        如
阅读更多...
tensorboard-----summary用法总结

tensorboard-----summary用法总结

Tensorflow学习笔记——Summary用法         最近在研究tensorflow自带的例程speech_command,顺便学习tensorflow的一些基本用法。 其中tensorboard 作为一款可视化神器，可以说是学习tensorflow时模型训练以及参数可视化的法宝。 而在训练过程中，主要用到了tf.summary()的各类方法，能够保存训练过程以及参数分布图并在
阅读更多...
vscode-创建vue3项目-修改暗黑主题-常见错误-element插件标签-用法涉及问题

vscode-创建vue3项目-修改暗黑主题-常见错误-element插件标签-用法涉及问题

文章目录 1.vscode创建运行编译vue3项目2.添加项目资源3.添加element-plus元素4.修改为暗黑主题4.1.在main.js主文件中引入暗黑样式4.2.添加自定义样式文件4.3.html页面html标签添加样式 5.常见错误5.1.未使用变量5.2.关闭typescript检查5.3.调试器支持5.4.允许未到达代码和未定义代码 6.element常用标签6.1.下拉列表
阅读更多...
YTKKeyValueStore用法

YTKKeyValueStore用法

iOS端的尝试 后来我从后台转做iOS端的开发，我就尝试了在iOS端直接使用Key-Value式的存储。经过在粉笔网、猿题库、小猿搜题三个客户端中的尝试后，我发现Key-Value式的存储不但完全能够满足大多数移动端开发的需求，而且非常适合移动端采用。主要原因是：移动端存储的数据量不会很大： 如果是单机的应用（例如效率工具Clear），用户自己一个人创建的数据最多也就上万条。 如果
阅读更多...
YTK的高级使用

YTK的高级使用

YTKUrlFilterProtocol 接口 YTKUrlFilterProtocol 接口用于实现对网络请求URL或参数的重写，例如可以统一为网络请求加上一些参数，或者修改一些路径。 例如：在猿题库中，我们需要为每个网络请求加上客户端的版本号作为参数。所以我们实现了如下一个YTKUrlArgumentsFilter 类，实现了 YTKUrlFilterProtocol 接口: //
阅读更多...
redis高级用法

redis高级用法

redis 慢日志查询 配置参数 slowlog-log-slower-than 10000 #单位微秒 slowlog-max-len 选项指定服务器最多保存多少条慢查询日志 redis-cli slowlog get #获取慢日志1) 1) (integer) 4 # 日志的唯一标识符（uid）2) (integer) 1378781447 # 命令执
阅读更多...
Log4j用法

Log4j用法

日志是应用软件中不可缺少的部分，Apache的开源项目Log4j是一个功能强大的日志组件，提供方便的日志记录，具体请参考Log4j文档指南。 Log4j下载 在apache网站，可以免费下载到Log4j最新版本的软件包 Apache log4j  （推荐） Apache log4j 2 Log4j的包下载完成后，解压，将其中打包好的的log4j-1.x.x.jar导入你的工程
阅读更多...
sql之top用法

sql之top用法

TOP 子句 TOP 子句用于规定要返回的记录的数目。 对于拥有数千条记录的大型表来说，TOP 子句是非常有用的。 注释： 并非所有的数据库系统都支持 TOP 子句。 SQL Server 的语法： SELECT TOP number|percent column_name(s)FROM table_name MySQL 和 Oracle 中的 SQL SELECT TOP 是等价的 M
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2