BeautifulSoup4模块的使用

2023-10-13 02:20

本文主要是介绍BeautifulSoup4模块的使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

day13下创建一个名为01-BeautifulSoup4模块的使用的代码文件

上一期我们获取了网页源代码,本期就从网页源代码这里提取我们想要的信息。

一、BeautifulSoup4概述

  BeautifulSoup是一个用于从HTML文件(说白了就是HTML文件里写的前端代码)中提取数据的模块。使用BeautifulSoup模块,你就可以从HTML中提取到你想要的任何数据。BeautifulSoup4是BeautifulSoup系列模块的第四代。

二、BeautifulSoup4模块的安装

之前说过模块的安装方式有两种:

(1)可视化安装

  我们之前安装pypinyin模块的时候用到过,友友们可以回顾一下

(2)在Terminal(终端)直接敲安装命令

Windows系统:pip install BeautifulSoup4
Mac、linux系统:pip3 install BeautifulSoup4

  本次使用直接在终端敲命令安装并以windows系统为例,打开Terminal,输入pip install BeautifulSoup4回车安装即可

在这里插入图片描述

三、使用
1、导包

  BeautifulSoup4模块在使用的时候简称bs4,因为python爬虫这块涉及到的都是三方模块,三方模块大部分都需要安装,模块有一个功能:别人已经实现了,我们可以直接用别人实现这个功能的模块。已经安装了这个模块(bs4),所以说要告诉程序我们要的功能(BeautifulSoup4)在哪,从哪(bs4)导入什么方法/功能/模块(BeautifulSoup4)

from bs4 import BeautifulSoup
2、接下来,就要从网页源代码这里提取我们想要的信息。

(1)假设html_str就是requests拿到的字符串类型的网页源代码

回顾字符串的性质:

  字符串是使用引号(单引号、双引号、三引号)作为容器符号。此处就是使用了三对双引号

html_str = """
<html><head><title>The Dormouse's story</title></head><body><p class="title"><b>The Dormouse's story</b></p><p class="story" id="story">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie<p>Test</p></a>;and they lived at the bottom of a well.</p><p class="story" id="story">...</p>
"""

PS:字符串html_str里写的是一个很简陋的前端框架(利用缩进看层次结构)

(2)针对字符串做这样一步操作:

soup = BeautifulSoup(html_str, 'html.parser')

这行代码是用来干嘛的?

1、首先对于变量soup,BeautifulSoup4模块这个官方文档写的就是soup。
2、使用BeautifulSoup方法针对于网页源代码进行文档解析,返回一个BeautifulSoup对象(树结构)。
3、解析过程需要解析器,html.parser是一个解析器。

在这里插入图片描述

什么是树结构?

在这里插入图片描述

使用树结构的原因?

html网页的结构就是树结构,便于更快更方便的查找信息。

将html源代码转为了树结构

print(soup)
打印结果:

在这里插入图片描述
  打印发现,树结构和字符串类型的源代码没区别,内容没变,只是换了一种数据类型(为了更好的查询),暂且称为BeautifulSoup类型(树结构),打印完注释掉(只是为了让大家看一下打印的结果)。

3、从网页中提、取内容的方法和属性。

select:使用CSS选择器从树结构中遍历符合的结果,存放在列表中,列表中的每个元素依旧是树结构。(从树结构中提取一部分出来还是树结构,只不过这个树结构变小了)

CSS选择器包含标签选择器、id选择器、class选择器、父子选择器、后代选择器、nth-of-child选择器等)

select_one:使用CSS选择器从树结构中拿到符合条件的第一个结果这个结果依旧是树结构。

text:从树结构中得到标签中的内容,结果为字符串。

attrs:从树结构的标签中获得属性名对应的属性值,结果为字符串。

在这里插入图片描述

Q1:从soup这个树结构中提取所有的p标签

---->(soup这个树结构就是源代码,只需要找准P标签在哪,就可以拿到P标签)
----> 使用select(存放在列表下)
标签选择器:只写标签名,能从树结构中拿到所有的某个标签

p_list1 = soup.select('p')
print(p_list)  # 第四个P标签包含在第三个里面

在这里插入图片描述

Q2:提取body标签下所有p子标签

----> 使用select(存放在列表下)
  什么是父什么是子?看缩进。父子关系一定是后代关系,反之不然。父子标签用 “>” 连接,右边的是子标签,左边的是父标签。执行顺序:body > p,从整个树结构soup中先找到body标签,再去找body的p子标签
  CSS选择器作用:按照树结构,寻找所需要的内容。(限定条件)

p_list2 = soup.select('body > p')
print(p_list2)
打印结果:body标签下有3个p子标签(不包含后代标签)

在这里插入图片描述

Q3:提取body标签下的所有p标签

----> 使用select(存放在列表下)
  后代选择器:祖先标签和后代标签使用空格隔开,祖先在左,后代在右。PS:父子关系一定是后代关系,后代关系不一定是父子关系。

p_list3 = soup.select('body p')
print(p_list3)
打印结果:body标签下有4个p标签(包含后代标签)

在这里插入图片描述

Q4:提取body标签下的第一个p子标签

  class选择器,class属性对应的属性值使用点.调用。第一个P子标签对应的属性值是title,后两个P子标签对应的属性值是story

p = soup.select('body > p.title')
print(p)

在这里插入图片描述

Q5:提取body标签的后两个p子标签

  id选择器:id属性名对应的属性值使用#调用

p_list5 = soup.select('body > p#story')
print(p_list5)

在这里插入图片描述

Q6:提取body标签下的第二个p子标签的第三个a子标签的标签内容和href属性值

  nth-child选择器:不区分标签名,获取同级所有标签的第N个。选择器最后写的什么标签,拿到的就是什么列表,比如下方的a列表
  select_one选择器:拿到的是select结果中的第一个元素

a_list = soup.select('body > p:nth-child(2) > a#link3')
print(a_list)

  取body标签下的第二个p子标签:body > p:nth-child(2);第二个p子标签的第三个a子标签的标签内容:p:nth-child(2) > a#link3

----> 三个a子标签class=sister,我们发现id不同,所以利用id做文章,将三个a标签区分开

在这里插入图片描述
  列表里面的还是树结构,接下来把这层列表给去掉。利用下标切片……就可以将列表去掉。
----> text:从树结构中得到标签中的内容,结果为字符串。
----> attrs:从树结构的标签中获得属性名对应的属性值,结果为字符串。

text_str = soup.select('body > p:nth-child(2) > a#link3')[0].text
print(text_str)# select_one拿到的是select结果中的第一个元素
# text_str2 = soup.select('body > p:nth-child(2) > a#link3').text
# print(text_str2)href_str = soup.select('body > p:nth-child(2) > a#link3')[0].attrs['href']
print(href_str)

在这里插入图片描述

所有的CSS选择器能够随意组合使用。

这篇关于BeautifulSoup4模块的使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/200116

相关文章

Python通用唯一标识符模块uuid使用案例详解

《Python通用唯一标识符模块uuid使用案例详解》Pythonuuid模块用于生成128位全局唯一标识符,支持UUID1-5版本,适用于分布式系统、数据库主键等场景,需注意隐私、碰撞概率及存储优... 目录简介核心功能1. UUID版本2. UUID属性3. 命名空间使用场景1. 生成唯一标识符2. 数

SpringBoot中如何使用Assert进行断言校验

《SpringBoot中如何使用Assert进行断言校验》Java提供了内置的assert机制,而Spring框架也提供了更强大的Assert工具类来帮助开发者进行参数校验和状态检查,下... 目录前言一、Java 原生assert简介1.1 使用方式1.2 示例代码1.3 优缺点分析二、Spring Fr

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异(双破折号误写)导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1:原因2:操作3:报错5:解决问题:确认卷组名称​6:再次操作7:验证扩展是否成功8:问题已解

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核