Python爬虫从入门到精通:(8)数据解析_xpath解析基础_Python涛哥

2024-03-17 01:38

本文主要是介绍Python爬虫从入门到精通:(8)数据解析_xpath解析基础_Python涛哥,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

xpath解析基础

环境安装

pip install lxml

解析原理:html标签是以树状的形式进行展示

  1. .实例化一个etree对象,且将待解析的页面源码数据加载到该对象中
  2. 调用etree对象的xpath方法结合着不同的xpath表达式实现标签的定位和数据提取

我们来看下这段test.html代码:

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>测试bs4</title>
</head>
<body>
<div><p>百里守约</p>
</div>
<div class="song"><p>李清照</p><p>王安石</p><p>苏轼</p><p>柳宗元</p><a href="http://www.song.com/" title="赵匡胤" target="_self"><span>this is span</span>宋朝是最强大的王朝,不是军队的强大,而是经济很强大,国民都很有钱</a><a href="" class="du">总为浮云能蔽日,长安不见使人愁</a><img src="http://www.baidu.com/meinv.jpg" alt=""/>
</div>
<div class="tang"><ul><li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li><li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li><li><a href="" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li><li><a href="" class="du">杜甫</a></li><li><a href="" class="du">杜牧</a></li><li><b>杜小月</b></li><li><i>度蜜月</i></li><li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li></ul></div></body>
</html>

实例化etree对象

  • etree.parse('filename'):将本地html文档加载到该对象中
  • etree.HTML(pate_text):网络获取的页面数据加载到该对象

代码如下:

# 使用lxml.etree.parse()解析html文件,该方法默认使用的是“XML”解析器,所以如果碰到不规范的html文件时就会解析错误
# 避免报错 自己创建html解析器,增加parser参数
parser = etree.HTMLParser(encoding="utf-8")
tree = etree.parse('test.html', parser=parser)

标签定位

  • 最左侧的 / :如果xpath表达式最左侧是以/开头,则该xpath表达式一定要从根标签开始定位指定的标签 (此方式并不常用)

    tree.xpath('/html/head/meta')  # 定位meta
    
  • 非最左侧的 / :表示一个层级

    tree.xpath('/html//meta')  # 定位meta
    
  • 最左侧的 // :xpath表达式可以从任意位置进行标签定位

    tree.xpath('//mate')  # 定位meta
    
  • 属性定位:tageName[@attrName="value"]

    # 定位到class为song的div下面的所有的p
    tree.xpath('//div[@class="song"]/p')# 打印:[<Element p at 0x256b1982e00>, <Element p at 0x256b1982e40>, <Element p at 0x256b1982e80>, <Element p at 0x256b1982ec0>]
    
  • 索引定位:tag[index] (索引是从1开始的)

    # 定位到class为song的div下面的第二个的p
    tree.xpath('//div[@class="song"]/p[2]')# 打印:[<Element p at 0x1f4a62a2e00>]
    
  • 还有不常用的定位方式: 模糊匹配等

  • 取文本

    • /text():直系文本内容
    • //text():所有的文本内容
    tree.xpath('//div[@class="song"]/p[2]/text()')#打印 ['王安石']
    
  • 取属性:/@attName

    tree.xpath('//a[@id="feng"]/@href')
    # 打印 ['http://www.haha.com']tree.xpath('//a[@id="feng"]/@id')
    # 打印 ['feng']
    

这篇关于Python爬虫从入门到精通:(8)数据解析_xpath解析基础_Python涛哥的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/817409

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

Springboot @Autowired和@Resource的区别解析

《Springboot@Autowired和@Resource的区别解析》@Resource是JDK提供的注解,只是Spring在实现上提供了这个注解的功能支持,本文给大家介绍Springboot@... 目录【一】定义【1】@Autowired【2】@Resource【二】区别【1】包含的属性不同【2】@

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis