推荐 - Jsoup（附网页批量抓取例子）

2024-03-26 13:38
文章标签 抓取 网页 推荐 批量 例子 jsoup

本文主要是介绍推荐 - Jsoup（附网页批量抓取例子），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目标：做一个简单的网站爬虫（怎么听怎么象virus。。。），访问父网站下的超链接，提取里面的文本内容。


开始时，手工写HTML的标签解析，部分代码如下：

	/** * 获取Href List分析结果 * * @return List<String>* @throws IOException*/ public List<String> getHrefList() throws IOException { Set<String> rawHrefList = parseHref();hrefList = rewriteHref(rawHrefList);return hrefList; }/** * 解析网页链接 * * @return List<String>* @throws IOException */ private List<String> parserHref() throws IOException {List<String> rawHrefList = new ArrayList<String>();URL url = new URL(parentUrl); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setDoOutput(true);InputStreamReader isr = new InputStreamReader( connection.getInputStream(), getCharset(connection.getContentType())); BufferedReader br = new BufferedReader(isr); String str = null;List<String> rs = null; while ((str = br.readLine()) != null) { rs = getHref(str); if (rs != null) rawHrefList.addAll(rs); }br.close();isr.close();connection.disconnect();return rawHrefList;} /** * 获取网页编码方式 * * @param str* @return String*/ private String getCharset(String str) { Pattern pattern = Pattern.compile("charset=.*"); Matcher matcher = pattern.matcher(str); if (matcher.find()) return matcher.group(0).split("charset=")[1]; return null; }/** * 从一行字符串中读取多条链接* * @param str* @return List<String>*/ private List<String> getHref(String str) { List<String> hrefSet = new ArrayList<String>();Pattern pattern = Pattern.compile("href=\".*?\"");final int URL_START_POSITION = 6;while(str.length() > 0) {Matcher matcher = pattern.matcher(str); if (matcher.find()) {// 从href中截取URLhrefSet.add(matcher.group(0).substring(URL_START_POSITION, matcher.group(0).length()-1));// 去掉已读取字符串str = str.substring(matcher.end());} else {str = "";}}if (hrefSet.size() > 0)return hrefSet;return null; }/** * 改写* * @param hrefList* @return List<String>*/ private List<String> rewriteHref(List<String> hrefList) {List<String> distinctHrefList = distinct(hrefList);return distinctByParent(distinctHrefList);}/** * 去重：去掉重复链接* * @param hrefList* @return List<String>*/ private List<String> distinct(List<String> hrefList) {List<String> distinctHrefList = new ArrayList<String>();Set<String> hrefSet = new HashSet<String>();Iterator<String> hrefItr = hrefList.iterator();while (hrefItr.hasNext()) {String hrefStr = (String)hrefItr.next();hrefSet.add(hrefStr);}distinctHrefList.addAll(hrefSet);return distinctHrefList;}

做着做着就觉得好麻烦呀，做语义分析，各种情况都要考虑，我的目标不是做一个分词工具出来，需要找个好工具才行，网上搜了一下，开始时看到html parser，不过发现代码都是2006年的，忽略，然后又看到Jsoup 和 Jericho HTML Parser，两者看起来半斤八两，不过Jericho 名字好难记，Jsoup 网站和文档好像丰富一些，OK，决定使用Jsoup 。用了才发现，太好用啦，代码清楚多了，开发效率提高，推荐！使用Jsoup后的全部代码如下（注意：现在的服务器有保护机制，同ip瞬间大量访问会被block）： 

package j2seTest2;import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.io.IOException;
import java.util.ArrayList;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicInteger;import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;public class HtmlParser {final int THREAD_COUNT = 10;private CountDownLatch threadCompletedCounter = new CountDownLatch(THREAD_COUNT);AtomicInteger paragraphCounter = new AtomicInteger(0);public static void main(String[] args) {
//		testParseHref();
//		testGetHrefList();
//		testParseParagraph();
//		testCrawlParagraph();testCrawlParagraphInMultiThreads();}/** * 获取Href List分析结果 * * @param urlStr* @return List<String>*/ public List<String> getHrefList(String urlStr) { Set<String> rawHrefList = parseHref(urlStr);return rewriteHref(rawHrefList, urlStr); }/** * 解析网页链接, 去掉重复链接* * @param urlStr* @return Set<String>*/ private Set<String> parseHref(String urlStr) {Set<String> rawHrefSet = new HashSet<String>();Document doc;try {doc = Jsoup.connect(urlStr).timeout(5000).get();Elements elements = doc.getElementsByAttribute("href");Iterator<Element> eleItr = elements.iterator();while(eleItr.hasNext()) {Element element = eleItr.next();rawHrefSet.add(element.attr("href"));}} catch (IOException e) {e.printStackTrace();}return rawHrefSet;} /** * 改写* * @param hrefList, parentUrl* @return List<String>*/ private List<String> rewriteHref(Set<String> hrefList, String parentUrl) {return distinctByParent(hrefList, parentUrl);}/** * 去重：只保留父链接开头的URL* * @param hrefList, parentUrl* @return List<String>*/ private List<String> distinctByParent(Set<String> hrefList, String parentUrl) {ArrayList<String> distinctHrefList = new ArrayList<String>();Iterator<String> hrefItr = hrefList.iterator();while (hrefItr.hasNext()) {String hrefStr = (String)hrefItr.next();if (hrefStr.indexOf(parentUrl) >= 0) {distinctHrefList.add(hrefStr);}}return distinctHrefList;}/** * 获取网页段落内容* * @param urlStr* @return String*/ public String getParagraph(String urlStr) { return parseParagraph(urlStr);}/** * 解析网页段落内容* * @param urlStr* @return String*/ private String parseParagraph(String urlStr) {String paragraph = "";final String HTML_TAG_P = "p";final String HTML_TAG_FONT = "font";Document doc;try {doc = Jsoup.connect(urlStr).timeout(5000).get();paragraph = paragraph.concat(getTextByTag(doc, HTML_TAG_P));paragraph = paragraph.concat(getTextByTag(doc, HTML_TAG_FONT));} catch (IOException e) {e.printStackTrace();}return paragraph;}/** * get element's text by tag* * @param doc, tag* @return String*/ private String getTextByTag(Document doc, String tag) {String text = "";Elements elements = doc.getElementsByTag(tag);Iterator<Element> eleItr = elements.iterator();while(eleItr.hasNext()) {Element element = eleItr.next();text = text.concat(element.text());}return text;}/** * crawl element's text in multi-thread* * @param htmlParser, hrefList*/ private void crawlInMultiThreads(final HtmlParser htmlParser, final List<String> hrefList) {ExecutorService executor = Executors.newFixedThreadPool(THREAD_COUNT);final Map<Integer, List<String>> hrefMap = new HashMap<Integer, List<String>>();int sizeOfHrefSubList = hrefList.size() / THREAD_COUNT + 1;int startIndexOfHrefSubList = 0;int endIndexOfHrefSubList = sizeOfHrefSubList;Integer mapIndex = 0;// 把hrefList 按线程数分为若干个subList，再subList 存储到map中for(;;) {int hrefSubListIndex = 0;List<String> hrefSubList = new ArrayList<String>();for (int index = startIndexOfHrefSubList; index < endIndexOfHrefSubList; index++) {hrefSubList.add(hrefSubListIndex, hrefList.get(index));hrefSubListIndex++;}hrefMap.put(mapIndex, hrefSubList);mapIndex++;if (endIndexOfHrefSubList == hrefList.size()) {break;}startIndexOfHrefSubList = endIndexOfHrefSubList;if (hrefList.size() - endIndexOfHrefSubList > sizeOfHrefSubList) {endIndexOfHrefSubList += sizeOfHrefSubList;} else {endIndexOfHrefSubList = hrefList.size();}}// 一个线程处理map中的一个entryfor (int threadIndex = 0; threadIndex < THREAD_COUNT; threadIndex++) {final Iterator<String> hrefItr = hrefMap.get(Integer.valueOf(threadIndex)).iterator();executor.submit(new Runnable() {public void run() {// 每个entry有若干个href url去处理while (hrefItr.hasNext()) {synchronized (hrefItr) {String paragraph = htmlParser.getParagraph(hrefItr.next());paragraphCounter.incrementAndGet();System.out.println("paragraphCounter:" + paragraphCounter);System.out.println(paragraph);System.out.println("");}}threadCompletedCounter.countDown();}});}closeThreadPool(executor);}private void closeThreadPool(final ExecutorService executor) {try {threadCompletedCounter.await();executor.shutdown();} catch (InterruptedException e) {e.printStackTrace();}}private static void testParseHref() {HtmlParser a = new HtmlParser();Set<String> hrefStr;String parentUrl = "http://www.defense.gov/bios/";hrefStr = a.parseHref(parentUrl);Iterator<String> hrefItr = hrefStr.iterator();while (hrefItr.hasNext()) {System.out.println(hrefItr.next());}}private static void testGetHrefList() {HtmlParser a = new HtmlParser(); List<String> hrefList;hrefList = a.getHrefList("http://www.defense.gov/bios/");System.out.println("url count:" + hrefList.size());for (int i = 0; i < hrefList.size(); i++) System.out.println(hrefList.get(i));}private static void testParseParagraph() {HtmlParser a = new HtmlParser(); String paragraph;
//		paragraph = a.parseParagraph("http://www.defense.gov/bios/biographydetail.aspx?biographyid=430");  //<p>paragraph = a.parseParagraph("http://www.defense.gov/bios/biographydetail.aspx?biographyid=185");  //<font>System.out.println("paragraph:");System.out.println(paragraph);}private static void testCrawlParagraph() {HtmlParser a = new HtmlParser(); List<String> hrefList;hrefList = a.getHrefList("http://www.defense.gov/bios/");Iterator<String> hrefItr = hrefList.iterator();int hrefCounter = 1;while (hrefItr.hasNext()) {String hrefUrl = (String) hrefItr.next();String paragraph = a.getParagraph(hrefUrl);System.out.println("paragraph " + hrefCounter + " from " + hrefUrl + ":");System.out.println(paragraph);System.out.println("");hrefCounter++;}}private static void testCrawlParagraphInMultiThreads() {HtmlParser a = new HtmlParser(); List<String> hrefList = a.getHrefList("http://www.defense.gov/bios/");a.crawlInMultiThreads(a, hrefList);}}

其它关于爬虫的介绍参考：
Java爬虫：http://blog.csdn.net/u012730840/article/details/19985897



这篇关于推荐 - Jsoup（附网页批量抓取例子）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/848685。

相关文章

SpringBoot分段处理List集合多线程批量插入数据方式

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案：通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建
阅读更多...
Python实现Excel批量样式修改器(附完整代码)

Python实现Excel批量样式修改器(附完整代码)

《Python实现Excel批量样式修改器(附完整代码)》这篇文章主要为大家详细介绍了如何使用Python实现一个Excel批量样式修改器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录前言功能特性核心功能界面特性系统要求安装说明使用指南基本操作流程高级功能技术实现核心技术栈关键函
阅读更多...
使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结
阅读更多...
Python实现批量CSV转Excel的高性能处理方案

Python实现批量CSV转Excel的高性能处理方案

《Python实现批量CSV转Excel的高性能处理方案》在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件,本文将介绍一个基于Python的高性能解决方案,感兴趣的小伙伴可以跟随小编一... 目录一、场景需求二、技术方案三、核心代码四、批量处理方案五、性能优化六、使用示例完整代码七、小结一、
阅读更多...
C#实现一键批量合并PDF文档

C#实现一键批量合并PDF文档

《C#实现一键批量合并PDF文档》这篇文章主要为大家详细介绍了如何使用C#实现一键批量合并PDF文档功能,文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言效果展示功能实现1、添加文件2、文件分组（书签）3、定义页码范围4、自定义显示5、定义页面尺寸6、PDF批量合并7、其他方法
阅读更多...
Python批量替换多个Word文档的多个关键字的方法

Python批量替换多个Word文档的多个关键字的方法

《Python批量替换多个Word文档的多个关键字的方法》有时,我们手头上有多个Excel或者Word文件,但是领导突然要求对某几个术语进行批量的修改,你是不是有要崩溃的感觉,所以本文给大家介绍了Py... 目录工具准备先梳理一下思路神奇代码来啦！代码详解激动人心的测试结语嘿，各位小伙伴们，大家好！有没有想
阅读更多...
python中update()函数的用法和一些例子

python中update()函数的用法和一些例子

《python中update()函数的用法和一些例子》update()方法是字典对象的方法,用于将一个字典中的键值对更新到另一个字典中,：本文主要介绍python中update()函数的用法和一些... 目录前言用法注意事项示例示例 1: 使用另一个字典来更新示例 2: 使用可迭代对象来更新示例 3: 使用
阅读更多...
python连接sqlite3简单用法完整例子

python连接sqlite3简单用法完整例子

《python连接sqlite3简单用法完整例子》SQLite3是一个内置的Python模块,可以通过Python的标准库轻松地使用,无需进行额外安装和配置,：本文主要介绍python连接sqli... 目录1. 连接到数据库2. 创建游标对象3. 创建表4. 插入数据5. 查询数据6. 更新数据7. 删除
阅读更多...
shell脚本批量导出redis key-value方式

shell脚本批量导出redis key-value方式

《shell脚本批量导出rediskey-value方式》为避免keys全量扫描导致Redis卡顿,可先通过dump.rdb备份文件在本地恢复,再使用scan命令渐进导出key-value,通过CN... 目录1 背景2 详细步骤2.1 本地docker启动Redis2.2 shell批量导出脚本3 附录总
阅读更多...
批量导入txt数据到的redis过程

批量导入txt数据到的redis过程

《批量导入txt数据到的redis过程》用户通过将Redis命令逐行写入txt文件,利用管道模式运行客户端,成功执行批量删除以Product*匹配的Key操作,提高了数据清理效率... 目录批量导入txt数据到Redisjs把redis命令按一条 一行写到txt中管道命令运行redis客户端成功了批量删除k
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2