开源框架WebCollector抓取图片初试

本文主要是介绍开源框架WebCollector抓取图片初试，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

官网地址：https://github.com/CrawlScript/WebCollector 。这是java版本，如果想要体验Python版本的话请移步 https://github.com/CrawlScript/WebCollector-Python

其它介绍文章

https://www.freesion.com/article/255392486/
https://blog.csdn.net/AJAXHu/article/details/81108253

废话不多说，直接进入正题。首先用maven引入相关依赖，目前最新的是2.73-alpha版本

<dependency><groupId>cn.edu.hfut.dmic.webcollector</groupId><artifactId>WebCollector</artifactId><version>2.73-alpha</version>
</dependency>

具体如何使用请看下面示例代码，用来抓取网站的图片，具体哪个网站不太方便给出来，大家自行尝试。

import cn.edu.hfut.dmic.webcollector.model.CrawlDatums;
import cn.edu.hfut.dmic.webcollector.model.Page;
import cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler;
import cn.edu.hfut.dmic.webcollector.util.ExceptionUtils;
import cn.edu.hfut.dmic.webcollector.util.FileUtils;
import cn.edu.hfut.dmic.webcollector.util.MD5Utils;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.io.File;/*** 继承 BreadthCrawler（广度爬虫）* BreadthCrawler 是 WebCollector 最常用的爬取器之一** @author hu*/
public class DemoCrawler extends BreadthCrawler {File baseDir = new File("images");/*** 构造一个基于伯克利DB的爬虫* 伯克利DB文件夹为crawlPath，crawlPath中维护了历史URL等信息* 不同任务不要使用相同的crawlPath* 两个使用相同crawlPath的爬虫并行爬取会产生错误** @param crawlPath 伯克利DB使用的文件夹*/public DemoCrawler(String crawlPath) {//设置是否自动解析网页内容super(crawlPath, true);//只有在autoParse和autoDetectImg都为true的情况下//爬虫才会自动解析图片链接//getConf().setAutoDetectImg(true);//如果使用默认的Requester，需要像下面这样设置一下网页大小上限//否则可能会获得一个不完整的页面//下面这行将页面大小上限设置为10M//getConf().setMaxReceiveSize(1024 * 1024 * 10);//添加种子URLaddSeed("http://www.xxx.com");//限定爬取范围addRegex("http://image.xxx.com/.*");addRegex("-.*#.*");addRegex("-.*\\?.*");//设置线程数setThreads(10);}@Overridepublic void visit(Page page, CrawlDatums next) {//根据http头中的Content-Type信息来判断当前资源是网页还是图片String contentType = page.contentType();if (contentType == null) {return;} else if (contentType.contains("html")) {//如果是网页，则抽取其中包含图片的URL，放入后续任务Elements imgs = page.select("img[src]");for (Element img : imgs) {String imgSrc = img.attr("abs:src");if (imgSrc.indexOf("thumb") < 0) {next.add(imgSrc);}}} else if (contentType.startsWith("image")) {//如果是图片，直接下载String extensionName = contentType.split("/")[1];try {byte[] image = page.content();//限制文件大小 10kif (image.length < 10240) {return;}//根据图片MD5生成文件名String fileName = String.format("%s.%s", MD5Utils.md5(image), extensionName);File imageFile = new File(baseDir, fileName);FileUtils.write(imageFile, image);System.out.println("保存图片 " + page.url() + " 到 " + imageFile.getAbsolutePath());} catch (Exception e) {ExceptionUtils.fail(e);}}}// 主要解决下载图片出现403的问题// 自定义的请求插件// 可以自定义User-Agent和Cookiepublic static class MyRequester extends OkHttpRequester {String userAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36";// 每次发送请求前都会执行这个方法来构建请求@Overridepublic Request.Builder createRequestBuilder(CrawlDatum crawlDatum) {// 这里使用的是OkHttp中的Request.Builder// 可以参考OkHttp的文档来修改请求头return super.createRequestBuilder(crawlDatum).removeHeader("User-Agent")  //移除默认的UserAgent.addHeader("Referer", "http://www.xxx.com").addHeader("User-Agent", userAgent);}}public static void main(String[] args) throws Exception {//crawl为日志目录DemoCrawler demoImageCrawler = new DemoCrawler("crawl");demoImageCrawler.setRequester(new MyRequester());//设置为断点爬取，否则每次开启爬虫都会重新爬取demoImageCrawler.setResumable(true);//爬取深度demoImageCrawler.start(5);}
}