如何使用 Python 3 中的 Requests 和 Beautiful Soup 处理 Web 数据

2024-02-07 11:12

本文主要是介绍如何使用 Python 3 中的 Requests 和 Beautiful Soup 处理 Web 数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

简介

网络为我们提供了比我们能阅读和理解的更多数据,因此我们经常希望以编程方式处理这些信息,以便理解它。有时,网站创建者通过 .csv 或逗号分隔值文件或通过 API(应用程序编程接口)向我们提供这些数据。其他时候,我们需要自己从网络上收集文本。

本教程将介绍如何使用 Requests 和 Beautiful Soup Python 包来利用网页数据。Requests 模块允许您将 Python 程序与 Web 服务集成,而 Beautiful Soup 模块旨在快速完成屏幕抓取。使用 Python 交互式控制台和这两个库,我们将学习如何收集网页并处理其中可用的文本信息。

安装 Requests

让我们首先激活我们的 Python 3 编程环境。确保您位于环境所在的目录,并运行以下命令:

. my_env/bin/activate

为了处理网页,我们需要请求页面。Requests 库允许您以人类可读的方式在 Python 程序中使用 HTTP。

在激活我们的编程环境后,我们将使用 pip 安装 Requests:

pip install requests

安装 Requests 库时,您将收到以下输出:

Collecting requestsDownloading requests-2.26.0-py2.py3-none-any.whl (88kB)100% |████████████████████████████████| 92kB 3.1MB/s 
...
Installing collected packages: chardet, urllib3, certifi, idna, requests
Successfully installed certifi-2017.4.17 chardet-3.0.4 idna-2.5 requests-2.26.0 urllib3-1.21.1

如果 Requests 已经安装,您将从终端窗口收到类似以下的反馈:

Requirement already satisfied
...

安装 Requests 到我们的编程环境后,我们可以继续安装下一个模块。

安装 Beautiful Soup

与安装 Requests 一样,我们将使用 pip 安装 Beautiful Soup。当前版本的 Beautiful Soup 4 可以使用以下命令安装:

pip install beautifulsoup4

运行此命令后,您应该会看到类似以下的输出:

Collecting beautifulsoup4Downloading beautifulsoup4-4.10.0-py3-none-any.whl (97 kB)|████████████████████████████████| 97 kB 6.8 MB/s
Collecting soupsieve>1.2Downloading soupsieve-2.3.1-py3-none-any.whl (37 kB)
Installing collected packages: soupsieve, beautifulsoup4
Successfully installed beautifulsoup4-4.10.0 soupsieve-2.3.1

现在 Beautiful Soup 和 Requests 都已安装,我们可以继续了解如何使用这些库来抓取网站。

使用 Requests 收集网页

现在我们已经安装了要使用的两个 Python 库,我们可以熟悉一下如何浏览基本网页。

让我们首先进入 Python 交互式控制台:

python

从这里,我们将导入 Requests 模块,以便我们可以收集一个示例网页:

import requests

我们将把示例网页 mockturtle.html 的 URL(下面)赋给变量 url

url = 'https://assets.digitalocean.com/articles/eng_python/beautiful-soup/mockturtle.html'

接下来,我们可以使用 request.get() 方法将该页面的请求结果赋给变量 page。我们将该方法传递给页面的 URL(分配给 url 变量)。

page = requests.get(url)

变量 page 被分配了一个响应对象:

>>> page
<Response [200]>
>>> 

上面的响应对象告诉我们方括号中的 status_code 属性(在本例中为 200)。可以显式调用此属性:

>>> page.status_code
200
>>> 

返回的 200 代码告诉我们页面下载成功。以数字 2 开头的代码通常表示成功,而以 45 开头的代码表示发生了错误。您可以从 W3C 的状态码定义中了解更多关于 HTTP 状态码的信息。

为了处理网络数据,我们将要访问网页文件的基于文本的内容。我们可以使用 page.text(或者如果我们想要以字节形式访问响应,则使用 page.content)来读取服务器响应的内容。

page.text

按下 ENTER 后,我们将收到以下输出:

'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"\n    
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">\n\n<html lang="en-US" 
xmlns="http://www.w3.org/1999/xhtml" xml:lang="en-US">\n<head>\n  <meta 
http-equiv="content-type" content="text/html; charset=us-ascii" />\n\n  <title>Turtle 
Soup</title>\n</head>\n\n<body>\n  <h1>Turtle Soup</h1>\n\n  <p class="verse" 
id="first">Beautiful Soup, so rich and green,<br />\n  Waiting in a hot tureen!<br />\n  Who for 
such dainties would not stoop?<br />\n  Soup of the evening, beautiful Soup!<br />\n  Soup of 
the evening, beautiful Soup!<br /></p>\n\n  <p class="chorus" id="second">Beau--ootiful 
Soo--oop!<br />\n  Beau--ootiful Soo--oop!<br />\n  Soo--oop of the e--e--evening,<br />\n  
Beautiful, beautiful Soup!<br /></p>\n\n  <p class="verse" id="third">Beautiful Soup! Who cares 
for fish,<br />\n  Game or any other dish?<br />\n  Who would not give all else for two<br />\n  
Pennyworth only of Beautiful Soup?<br />\n  Pennyworth only of beautiful Soup?<br /></p>\n\n  
<p class="chorus" id="fourth">Beau--ootiful Soo--oop!<br />\n  Beau--ootiful Soo--oop!<br />\n  
Soo--oop of the e--e--evening,<br />\n  Beautiful, beauti--FUL SOUP!<br 
/></p>\n</body>\n</html>\n'
>>> 

在这里,我们看到页面的完整文本被打印出来,包括所有的 HTML 标记。但是,由于没有太多的间距,很难阅读。

在下一节中,我们可以利用 Beautiful Soup 模块以更加人性化的方式处理这些文本数据。

使用 Beautiful Soup 逐步解析页面

Beautiful Soup 库可以从解析后的 HTML 和 XML 文档(包括具有非闭合标签或标记混乱等格式不正确的标记的文档)中创建解析树。这个功能将使网页文本比我们从 Requests 模块中看到的更易读。

首先,我们将在 Python 控制台中导入 Beautiful Soup:

from bs4 import BeautifulSoup

接下来,我们将运行 page.text 文档通过该模块,以便为我们提供一个 BeautifulSoup 对象 —— 也就是说,我们将通过运行 Python 内置的 html.parser 对 HTML 进行解析,从而得到从解析页面中得到的解析树。构造的对象将以嵌套数据结构的形式表示为 mockturtle.html 文档。这被赋值给变量 soup

soup = BeautifulSoup(page.text, 'html.parser')

为了在终端上显示页面的内容,我们可以使用 prettify() 方法将 Beautiful Soup 解析树转换为格式良好的 Unicode 字符串。

print(soup.prettify())

这将使每个 HTML 标记都单独显示在自己的一行上:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html lang="en-US" xml:lang="en-US" xmlns="http://www.w3.org/1999/xhtml"><head><meta content="text/html; charset=utf-8" http-equiv="content-type"/><title>Turtle Soup</title></head><body><h1>Turtle Soup</h1><p class="verse" id="first">Beautiful Soup, so rich and green,<br/>Waiting in a hot tureen!<br/>Who for such dainties would not stoop?<br/>Soup of the evening, beautiful Soup!...
</html>

在上面的输出中,我们可以看到每行只有一个标记,并且由于 Beautiful Soup 使用的树形模式,标记是嵌套的。

查找标记的实例

我们可以使用 Beautiful Soup 的 find_all 方法从页面中提取单个标记。这将返回文档中给定标记的所有实例。

soup.find_all('p')

在我们的对象上运行该方法将返回歌曲的完整文本以及相关的 <p> 标记和该请求标记中包含的任何标记,这里包括换行标记 <br/>

[<p class="verse" id="first">Beautiful Soup, so rich and green,<br/>Waiting in a hot tureen!<br/>Who for such dainties would not stoop?<br/>Soup of the evening, beautiful Soup!<br/>Soup of the evening, beautiful Soup!<br/></p>, <p class="chorus" id="second">Beau--ootiful Soo--oop!<br/>
...Beau--ootiful Soo--oop!<br/>Soo--oop of the e--e--evening,<br/>Beautiful, beauti--FUL SOUP!<br/></p>]

您会注意到上面的输出数据包含在方括号 [ ] 中。这意味着它是 Python 的列表数据类型。

因为它是一个列表,我们可以调用其中的特定项(例如,第三个 <p> 元素),并使用 get_text() 方法从该标记内提取所有文本:

soup.find_all('p')[2].get_text()

我们收到的输出将是这种情况下第三个 <p> 元素中的内容:

'Beautiful Soup! Who cares for fish,\n  Game or any other dish?\n  Who would not give all else for two\n  Pennyworth only of Beautiful Soup?\n  Pennyworth only of beautiful Soup?'

请注意,返回的字符串中也显示了 \n 换行符。

按类和 ID 查找标记

在使用 Beautiful Soup 处理网页数据时,与 CSS 选择器相关的 HTML 元素,如类和 ID,可能会有所帮助。我们可以通过使用 find_all() 方法并将类和 ID 字符串作为参数传递来针对特定的类和 ID。

首先,让我们找到所有 chorus 类的实例。在 Beautiful Soup 中,我们将类的字符串分配给关键字参数 class_

soup.find_all(class_='chorus')

当我们运行上述行时,我们将收到以下列表作为输出:

[<p class="chorus" id="second">Beau--ootiful Soo--oop!<br/>Beau--ootiful Soo--oop!<br/>Soo--oop of the e--e--evening,<br/>Beautiful, beautiful Soup!<br/></p>, <p class="chorus" id="fourth">Beau--ootiful Soo--oop!<br/>Beau--ootiful Soo--oop!<br/>Soo--oop of the e--e--evening,<br/>Beautiful, beauti--FUL SOUP!<br/></p>]

具有 chorus 类的两个 <p> 标记部分被打印到终端上。

我们还可以指定我们只想在 <p> 标记内搜索 chorus 类,以防它用于多个标记:

soup.find_all('p', class_='chorus')

运行上面的行将产生与之前相同的输出。

我们还可以使用 Beautiful Soup 来定位与 HTML 标记相关联的 ID。在这种情况下,我们将字符串 'third' 分配给关键字参数 id

soup.find_all(id='third')

一旦我们运行上面的行,我们将收到以下输出:

[<p class="verse" id="third">Beautiful Soup! Who cares for fish,<br/>Game or any other dish?<br/>Who would not give all else for two<br/>Pennyworth only of Beautiful Soup?<br/>Pennyworth only of beautiful Soup?<br/></p>]

与 ID 为 third<p> 标记相关联的文本将与相关标记一起打印到终端上。

结论

本教程带领你使用 Python 的 Requests 模块获取网页,并对该网页的文本数据进行初步的抓取,以便更好地理解 Beautiful Soup。

这篇关于如何使用 Python 3 中的 Requests 和 Beautiful Soup 处理 Web 数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/687532

相关文章

使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)

《使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)》在现代软件开发中,处理JSON数据是一项非常常见的任务,无论是从API接口获取数据,还是将数据存储为JSON格式,解析... 目录1. 背景介绍1.1 jsON简介1.2 实际案例2. 准备工作2.1 环境搭建2.1.1 添加

MySQL中删除重复数据SQL的三种写法

《MySQL中删除重复数据SQL的三种写法》:本文主要介绍MySQL中删除重复数据SQL的三种写法,文中通过代码示例讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下... 目录方法一:使用 left join + 子查询删除重复数据(推荐)方法二:创建临时表(需分多步执行,逻辑清晰,但会

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》:本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数

Redis事务与数据持久化方式

《Redis事务与数据持久化方式》该文档主要介绍了Redis事务和持久化机制,事务通过将多个命令打包执行,而持久化则通过快照(RDB)和追加式文件(AOF)两种方式将内存数据保存到磁盘,以防止数据丢失... 目录一、Redis 事务1.1 事务本质1.2 数据库事务与redis事务1.2.1 数据库事务1.

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链