BeautifulSoup4模块的使用

2023-10-13 02:20

本文主要是介绍BeautifulSoup4模块的使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

day13下创建一个名为01-BeautifulSoup4模块的使用的代码文件

上一期我们获取了网页源代码,本期就从网页源代码这里提取我们想要的信息。

一、BeautifulSoup4概述

  BeautifulSoup是一个用于从HTML文件(说白了就是HTML文件里写的前端代码)中提取数据的模块。使用BeautifulSoup模块,你就可以从HTML中提取到你想要的任何数据。BeautifulSoup4是BeautifulSoup系列模块的第四代。

二、BeautifulSoup4模块的安装

之前说过模块的安装方式有两种:

(1)可视化安装

  我们之前安装pypinyin模块的时候用到过,友友们可以回顾一下

(2)在Terminal(终端)直接敲安装命令

Windows系统:pip install BeautifulSoup4
Mac、linux系统:pip3 install BeautifulSoup4

  本次使用直接在终端敲命令安装并以windows系统为例,打开Terminal,输入pip install BeautifulSoup4回车安装即可

在这里插入图片描述

三、使用
1、导包

  BeautifulSoup4模块在使用的时候简称bs4,因为python爬虫这块涉及到的都是三方模块,三方模块大部分都需要安装,模块有一个功能:别人已经实现了,我们可以直接用别人实现这个功能的模块。已经安装了这个模块(bs4),所以说要告诉程序我们要的功能(BeautifulSoup4)在哪,从哪(bs4)导入什么方法/功能/模块(BeautifulSoup4)

from bs4 import BeautifulSoup
2、接下来,就要从网页源代码这里提取我们想要的信息。

(1)假设html_str就是requests拿到的字符串类型的网页源代码

回顾字符串的性质:

  字符串是使用引号(单引号、双引号、三引号)作为容器符号。此处就是使用了三对双引号

html_str = """
<html><head><title>The Dormouse's story</title></head><body><p class="title"><b>The Dormouse's story</b></p><p class="story" id="story">Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and<a href="http://example.com/tillie" class="sister" id="link3">Tillie<p>Test</p></a>;and they lived at the bottom of a well.</p><p class="story" id="story">...</p>
"""

PS:字符串html_str里写的是一个很简陋的前端框架(利用缩进看层次结构)

(2)针对字符串做这样一步操作:

soup = BeautifulSoup(html_str, 'html.parser')

这行代码是用来干嘛的?

1、首先对于变量soup,BeautifulSoup4模块这个官方文档写的就是soup。
2、使用BeautifulSoup方法针对于网页源代码进行文档解析,返回一个BeautifulSoup对象(树结构)。
3、解析过程需要解析器,html.parser是一个解析器。

在这里插入图片描述

什么是树结构?

在这里插入图片描述

使用树结构的原因?

html网页的结构就是树结构,便于更快更方便的查找信息。

将html源代码转为了树结构

print(soup)
打印结果:

在这里插入图片描述
  打印发现,树结构和字符串类型的源代码没区别,内容没变,只是换了一种数据类型(为了更好的查询),暂且称为BeautifulSoup类型(树结构),打印完注释掉(只是为了让大家看一下打印的结果)。

3、从网页中提、取内容的方法和属性。

select:使用CSS选择器从树结构中遍历符合的结果,存放在列表中,列表中的每个元素依旧是树结构。(从树结构中提取一部分出来还是树结构,只不过这个树结构变小了)

CSS选择器包含标签选择器、id选择器、class选择器、父子选择器、后代选择器、nth-of-child选择器等)

select_one:使用CSS选择器从树结构中拿到符合条件的第一个结果这个结果依旧是树结构。

text:从树结构中得到标签中的内容,结果为字符串。

attrs:从树结构的标签中获得属性名对应的属性值,结果为字符串。

在这里插入图片描述

Q1:从soup这个树结构中提取所有的p标签

---->(soup这个树结构就是源代码,只需要找准P标签在哪,就可以拿到P标签)
----> 使用select(存放在列表下)
标签选择器:只写标签名,能从树结构中拿到所有的某个标签

p_list1 = soup.select('p')
print(p_list)  # 第四个P标签包含在第三个里面

在这里插入图片描述

Q2:提取body标签下所有p子标签

----> 使用select(存放在列表下)
  什么是父什么是子?看缩进。父子关系一定是后代关系,反之不然。父子标签用 “>” 连接,右边的是子标签,左边的是父标签。执行顺序:body > p,从整个树结构soup中先找到body标签,再去找body的p子标签
  CSS选择器作用:按照树结构,寻找所需要的内容。(限定条件)

p_list2 = soup.select('body > p')
print(p_list2)
打印结果:body标签下有3个p子标签(不包含后代标签)

在这里插入图片描述

Q3:提取body标签下的所有p标签

----> 使用select(存放在列表下)
  后代选择器:祖先标签和后代标签使用空格隔开,祖先在左,后代在右。PS:父子关系一定是后代关系,后代关系不一定是父子关系。

p_list3 = soup.select('body p')
print(p_list3)
打印结果:body标签下有4个p标签(包含后代标签)

在这里插入图片描述

Q4:提取body标签下的第一个p子标签

  class选择器,class属性对应的属性值使用点.调用。第一个P子标签对应的属性值是title,后两个P子标签对应的属性值是story

p = soup.select('body > p.title')
print(p)

在这里插入图片描述

Q5:提取body标签的后两个p子标签

  id选择器:id属性名对应的属性值使用#调用

p_list5 = soup.select('body > p#story')
print(p_list5)

在这里插入图片描述

Q6:提取body标签下的第二个p子标签的第三个a子标签的标签内容和href属性值

  nth-child选择器:不区分标签名,获取同级所有标签的第N个。选择器最后写的什么标签,拿到的就是什么列表,比如下方的a列表
  select_one选择器:拿到的是select结果中的第一个元素

a_list = soup.select('body > p:nth-child(2) > a#link3')
print(a_list)

  取body标签下的第二个p子标签:body > p:nth-child(2);第二个p子标签的第三个a子标签的标签内容:p:nth-child(2) > a#link3

----> 三个a子标签class=sister,我们发现id不同,所以利用id做文章,将三个a标签区分开

在这里插入图片描述
  列表里面的还是树结构,接下来把这层列表给去掉。利用下标切片……就可以将列表去掉。
----> text:从树结构中得到标签中的内容,结果为字符串。
----> attrs:从树结构的标签中获得属性名对应的属性值,结果为字符串。

text_str = soup.select('body > p:nth-child(2) > a#link3')[0].text
print(text_str)# select_one拿到的是select结果中的第一个元素
# text_str2 = soup.select('body > p:nth-child(2) > a#link3').text
# print(text_str2)href_str = soup.select('body > p:nth-child(2) > a#link3')[0].attrs['href']
print(href_str)

在这里插入图片描述

所有的CSS选择器能够随意组合使用。

这篇关于BeautifulSoup4模块的使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/200116

相关文章

postgresql使用UUID函数的方法

《postgresql使用UUID函数的方法》本文给大家介绍postgresql使用UUID函数的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录PostgreSQL有两种生成uuid的方法。可以先通过sql查看是否已安装扩展函数,和可以安装的扩展函数

如何使用Lombok进行spring 注入

《如何使用Lombok进行spring注入》本文介绍如何用Lombok简化Spring注入,推荐优先使用setter注入,通过注解自动生成getter/setter及构造器,减少冗余代码,提升开发效... Lombok为了开发环境简化代码,好处不用多说。spring 注入方式为2种,构造器注入和setter

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

使用zip4j实现Java中的ZIP文件加密压缩的操作方法

《使用zip4j实现Java中的ZIP文件加密压缩的操作方法》本文介绍如何通过Maven集成zip4j1.3.2库创建带密码保护的ZIP文件,涵盖依赖配置、代码示例及加密原理,确保数据安全性,感兴趣的... 目录1. zip4j库介绍和版本1.1 zip4j库概述1.2 zip4j的版本演变1.3 zip4

Python 字典 (Dictionary)使用详解

《Python字典(Dictionary)使用详解》字典是python中最重要,最常用的数据结构之一,它提供了高效的键值对存储和查找能力,:本文主要介绍Python字典(Dictionary)... 目录字典1.基本特性2.创建字典3.访问元素4.修改字典5.删除元素6.字典遍历7.字典的高级特性默认字典

使用Python构建一个高效的日志处理系统

《使用Python构建一个高效的日志处理系统》这篇文章主要为大家详细讲解了如何使用Python开发一个专业的日志分析工具,能够自动化处理、分析和可视化各类日志文件,大幅提升运维效率,需要的可以了解下... 目录环境准备工具功能概述完整代码实现代码深度解析1. 类设计与初始化2. 日志解析核心逻辑3. 文件处

一文详解如何使用Java获取PDF页面信息

《一文详解如何使用Java获取PDF页面信息》了解PDF页面属性是我们在处理文档、内容提取、打印设置或页面重组等任务时不可或缺的一环,下面我们就来看看如何使用Java语言获取这些信息吧... 目录引言一、安装和引入PDF处理库引入依赖二、获取 PDF 页数三、获取页面尺寸(宽高)四、获取页面旋转角度五、判断

C++中assign函数的使用

《C++中assign函数的使用》在C++标准模板库中,std::list等容器都提供了assign成员函数,它比操作符更灵活,支持多种初始化方式,下面就来介绍一下assign的用法,具有一定的参考价... 目录​1.assign的基本功能​​语法​2. 具体用法示例​​​(1) 填充n个相同值​​(2)

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定