本文主要是介绍webmagic scheduler源码分析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
webmagic scheduler源码分析
项目中使用webmagic作为爬虫爬取框架，需要实现2个功能：
- 对于一些未爬取到的URL，需要做重试机制，重复爬取，设置爬取次数，直至爬取到网页内容或者达到重试次数。
- 用户点击停止，则停止对剩余URL的爬取。
这二个功能的添加都是对scheduler模块进行改造，webmagic的scheduler模块负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。此为实现的前提。
重试
由于使用过的是webmagic框架，框架中的pageprocessor模块自带方法page.addTargetRequest()来将URL添加到队列尾，前期在使用时，直接将未爬取成功的URL添加进去，发现程序并未对该URL进行重试，研究源码后，发现他的实现是：
@Overridepublic void push(Request request, Task task) {logger.trace("get a candidate url {}", request.getUrl());if (shouldReserved(request) || noNeedToRemoveDuplicate(request) || !duplicatedRemover.isDuplicate(request, task)) {logger.debug("push to queue {}", request.getUrl());pushWhenNoDuplicate(request, task);}}
在往队列中push元素时，会进行一次队列中是否有重复数据的判断，若有重复数据便不添加到队列中，因此，我们重写了scheduler：
/*** (shouldReserved(request) || noNeedToRemoveDuplicate(request) || !duplicatedRemover.isDuplicate(request, task))* 忽略掉去重方法，认为去重总是返回true,** @param request* @param task*/@Overridepublic void push(Request request, Task task) {logger.debug("push to queue {}", request.getUrl());pushWhenNoDuplicate(request, task);}修改后，程序通过page.addTargetRequest()方法，设置爬取次数，进行重试爬取。
停止
既然基于webmagic框架，则考虑对框架内使用的方法进行二次开发，原以为调用page.getTargetRequests().clear()方法，将所有剩余的request队列清空，即可达到停止的目的，后在项目上线后，运行几天，发现出现用户点击停止仍旧爬取的情况。
前面提到，scheduler模块使用JDK内存队列管理URL。经过研究webmagic源码发现，程序在爬取下一个URL的时候，是从scheduler队列中直接push一个元素出来，而我的操作并没有对scheduler进行修改。所以重写了一下scheduler，添加一个方法：
/*** add a url to fetch** @param request request* @param task task*/public void push(Request request, Task task);/*** get an url to crawl** @param task the task of spider* @return the url to crawl*/public Request poll(Task task);/*** clear方法添加*/public void clear();
之后在Spider（WebMagic操作的入口）启动时，前一个URL爬取成功进行Pipeline操作时，调用scheduler的clear方法，进行清空操作：
private void onDownloadSuccess(Request request, Page page) {if (site.getAcceptStatCode().contains(page.getStatusCode())) {pageProcessor.process(page);
// 如果targetRequest队列清空了，则清空scheduler里面的queueif (page.getResultItems().isSkip()) {scheduler.clear();exitWhenComplete = true;}extractAndAddRequests(page, spawnUrl);if (!page.getResultItems().isSkip()) {for (Pipeline pipeline : pipelines) {pipeline.process(page.getResultItems(), this);}}} else {logger.info("page status code error, page {} , code: {}", request.getUrl(), page.getStatusCode());}sleep(site.getSleepTime());return;}
在Spider启动类的方法里面添加一个判断，其余不做修改，即可达到目的。
这篇关于webmagic scheduler源码分析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
