推荐 - Jsoup（附网页批量抓取例子）

2024-03-26 13:38
文章标签 抓取 网页 推荐 批量 例子 jsoup

本文主要是介绍推荐 - Jsoup（附网页批量抓取例子），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目标：做一个简单的网站爬虫（怎么听怎么象virus。。。），访问父网站下的超链接，提取里面的文本内容。


开始时，手工写HTML的标签解析，部分代码如下：

	/** * 获取Href List分析结果 * * @return List<String>* @throws IOException*/ public List<String> getHrefList() throws IOException { Set<String> rawHrefList = parseHref();hrefList = rewriteHref(rawHrefList);return hrefList; }/** * 解析网页链接 * * @return List<String>* @throws IOException */ private List<String> parserHref() throws IOException {List<String> rawHrefList = new ArrayList<String>();URL url = new URL(parentUrl); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setDoOutput(true);InputStreamReader isr = new InputStreamReader( connection.getInputStream(), getCharset(connection.getContentType())); BufferedReader br = new BufferedReader(isr); String str = null;List<String> rs = null; while ((str = br.readLine()) != null) { rs = getHref(str); if (rs != null) rawHrefList.addAll(rs); }br.close();isr.close();connection.disconnect();return rawHrefList;} /** * 获取网页编码方式 * * @param str* @return String*/ private String getCharset(String str) { Pattern pattern = Pattern.compile("charset=.*"); Matcher matcher = pattern.matcher(str); if (matcher.find()) return matcher.group(0).split("charset=")[1]; return null; }/** * 从一行字符串中读取多条链接* * @param str* @return List<String>*/ private List<String> getHref(String str) { List<String> hrefSet = new ArrayList<String>();Pattern pattern = Pattern.compile("href=\".*?\"");final int URL_START_POSITION = 6;while(str.length() > 0) {Matcher matcher = pattern.matcher(str); if (matcher.find()) {// 从href中截取URLhrefSet.add(matcher.group(0).substring(URL_START_POSITION, matcher.group(0).length()-1));// 去掉已读取字符串str = str.substring(matcher.end());} else {str = "";}}if (hrefSet.size() > 0)return hrefSet;return null; }/** * 改写* * @param hrefList* @return List<String>*/ private List<String> rewriteHref(List<String> hrefList) {List<String> distinctHrefList = distinct(hrefList);return distinctByParent(distinctHrefList);}/** * 去重：去掉重复链接* * @param hrefList* @return List<String>*/ private List<String> distinct(List<String> hrefList) {List<String> distinctHrefList = new ArrayList<String>();Set<String> hrefSet = new HashSet<String>();Iterator<String> hrefItr = hrefList.iterator();while (hrefItr.hasNext()) {String hrefStr = (String)hrefItr.next();hrefSet.add(hrefStr);}distinctHrefList.addAll(hrefSet);return distinctHrefList;}

做着做着就觉得好麻烦呀，做语义分析，各种情况都要考虑，我的目标不是做一个分词工具出来，需要找个好工具才行，网上搜了一下，开始时看到html parser，不过发现代码都是2006年的，忽略，然后又看到Jsoup 和 Jericho HTML Parser，两者看起来半斤八两，不过Jericho 名字好难记，Jsoup 网站和文档好像丰富一些，OK，决定使用Jsoup 。用了才发现，太好用啦，代码清楚多了，开发效率提高，推荐！使用Jsoup后的全部代码如下（注意：现在的服务器有保护机制，同ip瞬间大量访问会被block）： 

package j2seTest2;import java.util.HashMap;
import java.util.HashSet;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.io.IOException;
import java.util.ArrayList;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.atomic.AtomicInteger;import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;public class HtmlParser {final int THREAD_COUNT = 10;private CountDownLatch threadCompletedCounter = new CountDownLatch(THREAD_COUNT);AtomicInteger paragraphCounter = new AtomicInteger(0);public static void main(String[] args) {
//		testParseHref();
//		testGetHrefList();
//		testParseParagraph();
//		testCrawlParagraph();testCrawlParagraphInMultiThreads();}/** * 获取Href List分析结果 * * @param urlStr* @return List<String>*/ public List<String> getHrefList(String urlStr) { Set<String> rawHrefList = parseHref(urlStr);return rewriteHref(rawHrefList, urlStr); }/** * 解析网页链接, 去掉重复链接* * @param urlStr* @return Set<String>*/ private Set<String> parseHref(String urlStr) {Set<String> rawHrefSet = new HashSet<String>();Document doc;try {doc = Jsoup.connect(urlStr).timeout(5000).get();Elements elements = doc.getElementsByAttribute("href");Iterator<Element> eleItr = elements.iterator();while(eleItr.hasNext()) {Element element = eleItr.next();rawHrefSet.add(element.attr("href"));}} catch (IOException e) {e.printStackTrace();}return rawHrefSet;} /** * 改写* * @param hrefList, parentUrl* @return List<String>*/ private List<String> rewriteHref(Set<String> hrefList, String parentUrl) {return distinctByParent(hrefList, parentUrl);}/** * 去重：只保留父链接开头的URL* * @param hrefList, parentUrl* @return List<String>*/ private List<String> distinctByParent(Set<String> hrefList, String parentUrl) {ArrayList<String> distinctHrefList = new ArrayList<String>();Iterator<String> hrefItr = hrefList.iterator();while (hrefItr.hasNext()) {String hrefStr = (String)hrefItr.next();if (hrefStr.indexOf(parentUrl) >= 0) {distinctHrefList.add(hrefStr);}}return distinctHrefList;}/** * 获取网页段落内容* * @param urlStr* @return String*/ public String getParagraph(String urlStr) { return parseParagraph(urlStr);}/** * 解析网页段落内容* * @param urlStr* @return String*/ private String parseParagraph(String urlStr) {String paragraph = "";final String HTML_TAG_P = "p";final String HTML_TAG_FONT = "font";Document doc;try {doc = Jsoup.connect(urlStr).timeout(5000).get();paragraph = paragraph.concat(getTextByTag(doc, HTML_TAG_P));paragraph = paragraph.concat(getTextByTag(doc, HTML_TAG_FONT));} catch (IOException e) {e.printStackTrace();}return paragraph;}/** * get element's text by tag* * @param doc, tag* @return String*/ private String getTextByTag(Document doc, String tag) {String text = "";Elements elements = doc.getElementsByTag(tag);Iterator<Element> eleItr = elements.iterator();while(eleItr.hasNext()) {Element element = eleItr.next();text = text.concat(element.text());}return text;}/** * crawl element's text in multi-thread* * @param htmlParser, hrefList*/ private void crawlInMultiThreads(final HtmlParser htmlParser, final List<String> hrefList) {ExecutorService executor = Executors.newFixedThreadPool(THREAD_COUNT);final Map<Integer, List<String>> hrefMap = new HashMap<Integer, List<String>>();int sizeOfHrefSubList = hrefList.size() / THREAD_COUNT + 1;int startIndexOfHrefSubList = 0;int endIndexOfHrefSubList = sizeOfHrefSubList;Integer mapIndex = 0;// 把hrefList 按线程数分为若干个subList，再subList 存储到map中for(;;) {int hrefSubListIndex = 0;List<String> hrefSubList = new ArrayList<String>();for (int index = startIndexOfHrefSubList; index < endIndexOfHrefSubList; index++) {hrefSubList.add(hrefSubListIndex, hrefList.get(index));hrefSubListIndex++;}hrefMap.put(mapIndex, hrefSubList);mapIndex++;if (endIndexOfHrefSubList == hrefList.size()) {break;}startIndexOfHrefSubList = endIndexOfHrefSubList;if (hrefList.size() - endIndexOfHrefSubList > sizeOfHrefSubList) {endIndexOfHrefSubList += sizeOfHrefSubList;} else {endIndexOfHrefSubList = hrefList.size();}}// 一个线程处理map中的一个entryfor (int threadIndex = 0; threadIndex < THREAD_COUNT; threadIndex++) {final Iterator<String> hrefItr = hrefMap.get(Integer.valueOf(threadIndex)).iterator();executor.submit(new Runnable() {public void run() {// 每个entry有若干个href url去处理while (hrefItr.hasNext()) {synchronized (hrefItr) {String paragraph = htmlParser.getParagraph(hrefItr.next());paragraphCounter.incrementAndGet();System.out.println("paragraphCounter:" + paragraphCounter);System.out.println(paragraph);System.out.println("");}}threadCompletedCounter.countDown();}});}closeThreadPool(executor);}private void closeThreadPool(final ExecutorService executor) {try {threadCompletedCounter.await();executor.shutdown();} catch (InterruptedException e) {e.printStackTrace();}}private static void testParseHref() {HtmlParser a = new HtmlParser();Set<String> hrefStr;String parentUrl = "http://www.defense.gov/bios/";hrefStr = a.parseHref(parentUrl);Iterator<String> hrefItr = hrefStr.iterator();while (hrefItr.hasNext()) {System.out.println(hrefItr.next());}}private static void testGetHrefList() {HtmlParser a = new HtmlParser(); List<String> hrefList;hrefList = a.getHrefList("http://www.defense.gov/bios/");System.out.println("url count:" + hrefList.size());for (int i = 0; i < hrefList.size(); i++) System.out.println(hrefList.get(i));}private static void testParseParagraph() {HtmlParser a = new HtmlParser(); String paragraph;
//		paragraph = a.parseParagraph("http://www.defense.gov/bios/biographydetail.aspx?biographyid=430");  //<p>paragraph = a.parseParagraph("http://www.defense.gov/bios/biographydetail.aspx?biographyid=185");  //<font>System.out.println("paragraph:");System.out.println(paragraph);}private static void testCrawlParagraph() {HtmlParser a = new HtmlParser(); List<String> hrefList;hrefList = a.getHrefList("http://www.defense.gov/bios/");Iterator<String> hrefItr = hrefList.iterator();int hrefCounter = 1;while (hrefItr.hasNext()) {String hrefUrl = (String) hrefItr.next();String paragraph = a.getParagraph(hrefUrl);System.out.println("paragraph " + hrefCounter + " from " + hrefUrl + ":");System.out.println(paragraph);System.out.println("");hrefCounter++;}}private static void testCrawlParagraphInMultiThreads() {HtmlParser a = new HtmlParser(); List<String> hrefList = a.getHrefList("http://www.defense.gov/bios/");a.crawlInMultiThreads(a, hrefList);}}

其它关于爬虫的介绍参考：
Java爬虫：http://blog.csdn.net/u012730840/article/details/19985897



这篇关于推荐 - Jsoup（附网页批量抓取例子）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/848685。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
防近视护眼台灯什么牌子好？五款防近视效果好的护眼台灯推荐

防近视护眼台灯什么牌子好？五款防近视效果好的护眼台灯推荐

在家里，灯具是属于离不开的家具，每个大大小小的地方都需要的照亮，所以一盏好灯是必不可少的，每个发挥着作用。而护眼台灯就起了一个保护眼睛，预防近视的作用。可以保护我们在学习，阅读的时候提供一个合适的光线环境，保护我们的眼睛。防近视护眼台灯什么牌子好？那我们怎么选择一个优秀的护眼台灯也是很重要，才能起到最大的护眼效果。下面五款防近视效果好的护眼台灯推荐： 一：六个推荐防近视效果好的护眼台灯的
阅读更多...
智能交通（二）——Spinger特刊推荐

智能交通（二）——Spinger特刊推荐

特刊征稿 01  期刊名称： Autonomous Intelligent Systems  特刊名称： Understanding the Policy Shift  with the Digital Twins in Smart  Transportation and Mobility 截止时间： 开放提交：2024年1月20日 提交截止日
阅读更多...
EasyPlayer.js网页H5 Web js播放器能力合集

EasyPlayer.js网页H5 Web js播放器能力合集

最近遇到一个需求，要求做一款播放器，发现能力上跟EasyPlayer.js基本一致，满足要求： 需求 功性能 分类 需求描述 功能 预览 分屏模式 单分屏（单屏/全屏） 多分屏（2*2） 多分屏（3*3） 多分屏（4*4） 播放控制 播放（单个或全部） 暂停（暂停时展示最后一帧画面） 停止（单个或全部） 声音控制（开关/音量调节） 主辅码流切换 辅助功能 屏
阅读更多...
禁止复制的网页怎么复制

禁止复制的网页怎么复制

禁止复制的网页怎么复制 文章目录 禁止复制的网页怎么复制前言准备工作操作步骤一、在浏览器菜单中找到“开发者工具”二、点击“检查元素（inspect element）”按钮三、在网页中选取需要的片段，锁定对应的元素四、复制被选中的元素五、粘贴到记事本，以`.html`为后缀命名六、打开`xxx.html`，优雅地复制 前言 在浏览网页的时候，有的网页内容无法复制。比如「360
阅读更多...
火语言RPA流程组件介绍--浏览网页

火语言RPA流程组件介绍--浏览网页

🚩【组件功能】：浏览器打开指定网址或本地html文件 配置预览 配置说明 网址URL 支持T或# 默认FLOW输入项 输入需要打开的网址URL 超时时间 支持T或# 打开网页超时时间 执行后后等待时间(ms) 支持T或# 当前组件执行完成后继续等待的时间 UserAgent 支持T或# User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器
阅读更多...
PHP抓取网站图片脚本

PHP抓取网站图片脚本

方法一： <?phpheader("Content-type:image/jpeg"); class download_image{function read_url($str) { $file=fopen($str,"r");$result = ''; while(!feof($file)) { $result.=fgets($file,9999); } fclose($file); re
阅读更多...
Python脚本：对文件进行批量重命名

Python脚本：对文件进行批量重命名

字符替换：批量对文件名中指定字符进行替换添加前缀：批量向原文件名添加前缀添加后缀：批量向原文件名添加后缀 import osdef Rename_CharReplace():#对文件名中某字符进行替换(已完结)re_dir = os.getcwd()re_list = os.listdir(re_dir)original_char = input('请输入你要替换的字符：')replace_ch
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2