了解Jsoup并解析51CTO博客主页中的友情链接

2023-10-08 18:50
文章标签 解析 博客 51cto 了解 主页 jsoup 友情链接

本文主要是介绍了解Jsoup并解析51CTO博客主页中的友情链接，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Jsoup参见百度http://baike.baidu.com/view/4066913.htm

  官方网站：http://jsoup.org/

Jsoup解析HTML文件基本步骤：

  1.    获取Connection对象

  2.    通过Connection获取文档Document对象

  3.    根据需要解析文档

17092613_r86U.gif例子1：

import java.io.IOException;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class Demo1 {private static final String URL = "http://aiilive.blog.51cto.com/";public static void main(String[] args) throws IOException {/*** 通过URL获取连接*/Connection conn = Jsoup.connect(URL);/*** 通过连接获取文档对象*/Document doc = conn.get();/*** 获取所有的超链接*/Elements elements=doc.getElementsByTag("ul");for(int i=0, j=elements.size();i<j;i++){System.out.println(elements.get(i).html());}}
}

17092613_r86U.gif例子2：来自org.jsoup.examples.ListLink.java

package org.jsoup.examples;
import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
/*** Example program to list links from a URL.*/
public class ListLinks {public static void main(String[] args) throws IOException {Validate.isTrue(args.length == 1, "usage: supply url to fetch");String url = args[0];print("Fetching %s...", url);Document doc = Jsoup.connect(url).get();Elements links = doc.select("a[href]");Elements media = doc.select("[src]");Elements imports = doc.select("link[href]");print("\nMedia: (%d)", media.size());for (Element src : media) {if (src.tagName().equals("img"))print(" * %s: <%s> %sx%s (%s)",src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),trim(src.attr("alt"), 20));elseprint(" * %s: <%s>", src.tagName(), src.attr("abs:src"));}print("\nImports: (%d)", imports.size());for (Element link : imports) {print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));}print("\nLinks: (%d)", links.size());for (Element link : links) {print(" * a: <%s>  (%s)", link.attr("abs:href"), trim(link.text(), 35));}}private static void print(String msg, Object... args) {System.out.println(String.format(msg, args));}private static String trim(String s, int width) {if (s.length() > width)return s.substring(0, width-1) + ".";elsereturn s;}
}

   在解析51CTO博客中的友情链接的想法：

  1. 选择一个博客主页地址，如:http://aiilive.blog.51cto.com

  2. 通过<1>中的地址，获取到相对应的友情链接；

  3. 将友情链接作为<1>中的地址继续获取；

   解析的前提是对博客页面进行分析，下面是通过FireFox的程序员开发工具分析图：


17092613_3jmO.png

    友情链接在<div class="friendLink box">...</div>里面。

    Jsoup的优秀之处之一提供了类似CSS的选择器的方法，可以去特定标签进行选择过滤。

    友情链接的部分如下图：

17092613_Qvrz.png

做法一：

  1. 筛选出div class;

  2. 算选出属性class的值为fiendLink box

  3. 获取<a>...</a>的HTML代码

  4. 处理<3>字符串

    17092613_r86U.gif代码1：获取<li>中的HTML代码

    /*** 获取BlogMain中的超链接*/Element e = null;Elements elements = doc.select("div[class]");for (int i = 0; i < elements.size(); i++) {e = elements.get(i);if (e.attr("class").equals("friendLink box")) {break;}}printElements(e.children().tagName("li"));

    /*** 获取Elements中每一个Elment的HTML代码* @param es*/private static void printElements(Elements es) {for (int i = 0, j = es.size(); i < j; i++) {Element e = es.get(i);String str = e.html();getUrl(str);}}

    17092613_r86U.gif代码2：处理<3>中的字符串

    /*** <a href="http://21cnbao.blog.51cto.com" title="宋宝华的博客" target="_blank">宋宝华的博客</a>* @param str*/private static void getUrl(String str) {String[] strs = str.split("\"");for (String string : strs) {if (string.indexOf("http") != -1) {System.out.println(string);}}}

做法二：

做一个微小的改动：上述代码1中的printElements(Elements es){...}进行改动。

如下：

private static final String ATTRIBUTE_VALUE_ABS = "abs:href";
//方法改写
private static void getUrlExt(Elements es) {for (Element element : es) {String href = element.attr(ATTRIBUTE_VALUE_ABS);
//筛选51CTO博客if (filter51ctoBlog(href)) {linkSetTemp.add(href);}}}

filter51ctoBlog(href)做51CTO博客筛选，是保证URL个格式符和51CTO博客主页格式。

完整的深度可调节的博客友情链接遍历：

代码：

import java.io.IOException;
import java.util.HashSet;
import java.util.Iterator;
import java.util.Set;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class Demo4 {//遍历最小深度private static final int LEVEL_MIN = 1;//遍历最大深度private static final int LEVEL_MAX = 4;//程序入口URLprivate static final String IN_URL = "http://aiilive.blog.51cto.com/";//友情链接标记
//  private static final String TAGNAME = "li";//DIV CLASS筛选条件private static final String SELECT_DIV = "div[class]";private static final String ATTRIBUTE = "class";//友情链接CLASS的值private static final String ATTRIBUTE_VALUE = "friendLink box";//超链接筛选Queryprivate static final String ATTRIBUTE_VALUE_ABS = "abs:href";private static final String SELECT_TAG = "a[href]";//存放遍历的友情链接private static Set<String> linkSet = new HashSet<String>();private static Set<String> linkSetTemp = null;static {linkSet.add(IN_URL);}/*** 第一种：获取友情链接的URL** @param es*/@SuppressWarnings("unused")private static void getUrl(Elements es) {for (int i = 0, j = es.size(); i < j; i++) {Element e = es.get(i);String str = e.html();String[] strs = str.split("\"");for (String  strs ) {if (href.indexOf("http") != -1) {if (filter51ctoBlog(href)) {linkSetTemp.add(href);}}}}}/*** 过滤非51CTO博客主页的URL* @param str* @return*/private static boolean filter51ctoBlog(String str) {return str.endsWith("blog.51cto.com");}/*** 第二种：获取友情链接的URL** @param es*/private static void getUrlExt(Elements es) {for (Element element : es) {String href = element.attr(ATTRIBUTE_VALUE_ABS);if (filter51ctoBlog(href)) {linkSetTemp.add(href);}}}/*** 添加友情链接** @param url* @throws IOException*/private static void addFriendLink(String url) throws IOException {Document doc = Jsoup.connect(url).get();Element e = null;Elements elements = doc.select(SELECT_DIV);for (int i = 0; i < elements.size(); i++) {e = elements.get(i);if (e.attr(ATTRIBUTE).equals(ATTRIBUTE_VALUE)) {break;}}// 获取FRIEND_BOX的孩子结点，筛选出li标签// getUrl(e.children().tagName(TAGNAME));Elements es = e.children().select(SELECT_TAG);getUrlExt(es);}/*** 添加友情链接** @param set* @throws IOException*/private static void addFriendLink(Set<String> set) throws IOException {for (Iterator<String> iter = set.iterator(); iter.hasNext();) {addFriendLink(iter.next());}}/*** 打印集合信息** @param set*/private static void printSet(Set<String> set) {for (Iterator<String> iter = set.iterator(); iter.hasNext();) {System.out.println(iter.next());}}public static void main(String[] args) throws IOException {linkSet.add(IN_URL);for (int i = LEVEL_MIN; i <= LEVEL_MAX; i++) {linkSetTemp = new HashSet<String>();addFriendLink(linkSet);linkSet.addAll(linkSetTemp);linkSetTemp = null;}System.out.println(linkSet.size());printSet(linkSet);}
}

   解析HTML要对文件进行分析，找出共同特征。比如：不同博客的主页的排版方式不同，那么通过布局去解析会出问题，在获取HTML文件中某一部分的内容，应该从标签的Id，class入手。这次解遇到这样的问题，是因为博客布局的不同，所以要提取相同解决，特定处理不同。

本文出自 “野马红尘” 博客，谢绝转载！

转载于:https://my.oschina.net/aiilive/blog/507320

这篇关于了解Jsoup并解析51CTO博客主页中的友情链接的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/167310。

相关文章

PostgreSQL的扩展dict_int应用案例解析

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法
阅读更多...
深度解析Java DTO(最新推荐)

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO（DataTransferObject）是一种用于在不同层（如Controller层、Service层）之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO？DTO的核心特点：二、为什么需要DTO？（对比Entity）三、实际应用场景解析
阅读更多...
深度解析Java项目中包和包之间的联系

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次，点赞13次，收藏8次。本文详细介绍了Java分层架构中的几个关键包：DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1
阅读更多...
Java中的雪花算法Snowflake解析与实践技巧

Java中的雪花算法Snowflake解析与实践技巧

《Java中的雪花算法Snowflake解析与实践技巧》本文解析了雪花算法的原理、Java实现及生产实践,涵盖ID结构、位运算技巧、时钟回拨处理、WorkerId分配等关键点,并探讨了百度UidGen... 目录一、雪花算法核心原理1.1 算法起源1.2 ID结构详解1.3 核心特性二、Java实现解析2.
阅读更多...
使用Python绘制3D堆叠条形图全解析

使用Python绘制3D堆叠条形图全解析

《使用Python绘制3D堆叠条形图全解析》在数据可视化的工具箱里,3D图表总能带来眼前一亮的效果,本文就来和大家聊聊如何使用Python实现绘制3D堆叠条形图,感兴趣的小伙伴可以了解下... 目录为什么选择 3D 堆叠条形图代码实现：从数据到 3D 世界的搭建核心代码逐行解析细节优化应用场景：3D 堆叠图
阅读更多...
深度解析Python装饰器常见用法与进阶技巧

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器（Decorator）是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧
阅读更多...
解析C++11 static_assert及与Boost库的关联从入门到精通

解析C++11 static_assert及与Boost库的关联从入门到精通

《解析C++11static_assert及与Boost库的关联从入门到精通》static_assert是C++中强大的编译时验证工具,它能够在编译阶段拦截不符合预期的类型或值,增强代码的健壮性,通... 目录一、背景知识：传统断言方法的局限性1.1 assert宏1.2 #error指令1.3 第三方解决
阅读更多...
全面解析MySQL索引长度限制问题与解决方案

全面解析MySQL索引长度限制问题与解决方案

《全面解析MySQL索引长度限制问题与解决方案》MySQL对索引长度设限是为了保持高效的数据检索性能,这个限制不是MySQL的缺陷,而是数据库设计中的权衡结果,下面我们就来看看如何解决这一问题吧... 目录引言：为什么会有索引键长度问题？一、问题根源深度解析mysql索引长度限制原理实际场景示例二、五大解决
阅读更多...
深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器（Interceptor）与过滤器（Filter）深度解析：区别、实现
阅读更多...
深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制（JDK/CGLIB）、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2