【爬虫系列】第二部分 网页解析Jsoup

2024-06-09 20:38

本文主要是介绍【爬虫系列】第二部分 网页解析Jsoup,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Jsoup是一款JavaHTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOMCSS以及类似于jQuery的操作方法来取出和操作数据。

     在爬虫采集网页领域主要作用是HttpClient获取到网页后,使用Jsoup提取网页中需要的信息,Jsoup支持类似JqueryCSS选择器,来获取需要的数据,使用非常方便。

     下面结合代码简单展示如何使用Jsoup获取需要的页面数据。

一、Jsoup 入门demo

[java]  view plain  copy
  1. public class JsoupHello {  
  2.   
  3.     public static void main(String[] args) throws Exception{  
  4.         CloseableHttpClient httpclient = HttpClients.createDefault(); // 创建httpclient实例  
  5.         HttpGet httpget = new HttpGet("http://www.cnblogs.com/"); // 创建httpget实例  
  6.            
  7.         CloseableHttpResponse response = httpclient.execute(httpget); // 执行get请求  
  8.         HttpEntity entity=response.getEntity(); // 获取返回实体  
  9.         String content=EntityUtils.toString(entity, "utf-8");  
  10.         response.close(); // 关闭流和释放系统资源  
  11.           
  12.         Document doc=Jsoup.parse(content); // 解析网页 得到文档对象  
  13.         Elements elements=doc.getElementsByTag("title"); // 获取tag是title的所有DOM元素  
  14.         Element element=elements.get(0); // 获取第1个元素  
  15.         String title=element.text(); // 返回元素的文本  
  16.         System.out.println("网页标题是:"+title);  
  17.           
  18.         Element element2=doc.getElementById("site_nav_top"); // 获取id=site_nav_top的DOM元素  
  19.         String navTop=element2.text(); // 返回元素的文本  
  20.         System.out.println("口号:"+navTop);  
  21.            
  22.     }  
  23. }  
1、使用httpClient 获取网页

2、使用jsoup parse解析网页,并根据丰富的getElement方法按照不同的属性获取元素值

二、常用查找dom元素方法

1、根据标签名(tagName)查找dom  

[java]  view plain  copy
  1. Elements elements=  doc.getElementsByTag("title"); //获取tag是title的所有dom元素          
  2. Element element= elements.get(0); //获取第一个  
  3. System.out.println(element.text());//输出元素txt值  
2、根据元素Id查找

[java]  view plain  copy
  1. Element elementById=doc.getElementById("footer");  
  2. System.out.println(elementById.text());  
3、根据class 名查找

[java]  view plain  copy
  1. Elements elementsByClass=doc.getElementsByClass("post_item");  
  2. for(Element e:elementsByClass)  
  3. {  
  4.     System.out.println(e.html());  
  5. }  
4、根据attribute属性名查找

[java]  view plain  copy
  1. //根据属性名(如:id,width) 查询dom  
  2. Elements elementsByAttr=doc.getElementsByAttribute("width");  
  3. for(Element e2:elementsByAttr)  
  4. {  
  5.     System.out.println(e2.toString());  
  6. }  
5、根据attribute和attributeValue共同查找

[java]  view plain  copy
  1. //根据属性名&值共同查找dom  
  2. Elements elementsByAttrValue=doc.getElementsByAttributeValue("width""142");  
  3. System.out.println(elementsByAttrValue.toString());  
三、使用Jsoup选择器查找dom元素

1、class类选择器使用

[java]  view plain  copy
  1.       //class 使用.   中间空格  
  2. Elements eleLinks= doc.select(".post_item .post_item_body h3 a");     
  3. for(Element el:eleLinks)  
  4.  {  
  5.  System.out.println(el.text());  
  6.  }  
2、带有href超链接的a标签查找

[java]  view plain  copy
  1. //css语法 带有href 属性的a元素   
  2. Elements elea= doc.select("a[href]");  
  3. for(Element ea:eleLinks)  
  4.  {  
  5.  System.out.println(ea.toString());  
  6.  }  
3、查找图片标签

[java]  view plain  copy
  1. //img图片  
  2. Elements imgs= doc.select("img[src$=.png]");//查找img标签,后缀为png的所有图片dom  
  3. for(Element ea:imgs)  
  4.  {  
  5.  System.out.println(ea.toString());  
  6.  }  

4、根据dom Id查找元素

[java]  view plain  copy
  1. //根据dom id获取元素 ,text返回a的中文文本信息,html返回a标签链接信息  
  2.        Element eleId=doc.select("#friend_link").first();  
  3.        System.out.println("##############纯文本"+eleId.text());  
  4.        System.out.println("##############纯文本"+eleId.html());  

5、获取dom元素中指定属性值

[java]  view plain  copy
  1. Elements eleLinks= doc.select(".post_item .post_item_body h3 a");     
  2.    for(Element el:eleLinks)  
  3.     {  
  4.        System.out.println("***********************标题是"+el.text()); //获取所有文本  
  5.        System.out.println("***********************连接是"+el.attr("href")); //获取所有博客链接 dom a 里的属性值  
  6.     }  

这篇关于【爬虫系列】第二部分 网页解析Jsoup的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1046239

相关文章

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

使用Python实现获取网页指定内容

《使用Python实现获取网页指定内容》在当今互联网时代,网页数据抓取是一项非常重要的技能,本文将带你从零开始学习如何使用Python获取网页中的指定内容,希望对大家有所帮助... 目录引言1. 网页抓取的基本概念2. python中的网页抓取库3. 安装必要的库4. 发送HTTP请求并获取网页内容5. 解

Python使用DrissionPage中ChromiumPage进行自动化网页操作

《Python使用DrissionPage中ChromiumPage进行自动化网页操作》DrissionPage作为一款轻量级且功能强大的浏览器自动化库,为开发者提供了丰富的功能支持,本文将使用Dri... 目录前言一、ChromiumPage基础操作1.初始化Drission 和 ChromiumPage

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图