Python爬虫第二章（HTMl文件，CSS语言与第三方库Beautiful Soup）

2024-03-10 00:12
文章标签 python 语言 css html 爬虫 第三方 frontend 第二章 beautiful soup

本文主要是介绍Python爬虫第二章（HTMl文件，CSS语言与第三方库Beautiful Soup），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 一、前置知识
  • 二、HTMl文件结构
  • 三、HTML常用标签
  • 四、CSS
  • 五、CSS基础语法
  • 六、一个简单网页模板
  • 七、BeautifulSoup库
  • 八、查找标签
  • 九、获取标签的属性和文本

欢迎大家阅读这篇关于BeautifulSoup的博客。在互联网信息爆炸的时代，获取和处理网络数据显得尤为重要。BeautifulSoup是一个强大的Python库，它能够帮助我们轻松地从网页获取所需信息。无论你是数据分析师，还是网络爬虫开发者，这个库都将成为你工具箱中的利器。
在开始本次的学习之前，我们会先介绍一些前置知识，包括HTML的基础、CSS的运用，以便能让你更好地理解BeautifulSoup的工作原理。随着本教程的深入，你将学习到如何通过BeautifulSoup和其它相关库，如requests，提取和处理您感兴趣的网络内容。

一、前置知识

html
HTML，全称为超文本标记语言(HyperText Markup Language)，是用于创建网页的标准标记语言。它描述和定义了网页内容的结构。本教程将简介HTML的基础知识。
什么是HTML
HTML不是一门编程语言, 而是一种标记语言。编程语言是用于创建程序和应用的，而标记语言是为了呈现给用户眼前的数据和布局。HTML使用标记来注明文档中应如何显示哪些元素。

一个HTML标记包含了元素名称以及两种尖括号。这些元素通常成对出现，分为开始标记和结束标记

二、HTMl文件结构

HTML文件通常有以下结构:

<!DOCTYPE html>
<html><head><title>Page Title</title></head><body><h1>My First Heading</h1><p>My first paragraph.</p></body>
</html><!DOCTYPE html>: 这个声明帮助浏览器正确的显示网页
<html>: 这个元素包含了整个HTML文档
<head>: 这个元素包含了文档的元信息，比如文档的标题。元信息不会被显示在页面中
<title>: 指定了网页的标题，这个标题会被显示在浏览器的标题栏或者标签页上
<body>: 这个元素包含了网页的全部内容，比如文本，图片，音频等

三、HTML常用标签

以下是一些基础常用的HTML标签：

<h1>到<h6>: 用于定义6级不同大小的标题，<h1>最大，<h6>最小
<p>: 用于定义段落
<br>: 插入一个换行符
<a href="url">: 用于创建链接
<img src="image.jpg" alt="My Image">: 用于插入图像
<div>: 用于把文档分割为独立的部分。它可以用来组合其他HTML元素
<video>:用于添加视频<video controls><source src="movie.mp4" type="video/mp4"><source src="movie.ogg" type="video/ogg">Your browser does not support the video tag.
</video>

以上这些只是一部分基本的HTML元素，实际上HTML还有更多其它元素和属性。

四、CSS

CSS（层叠样式表）是一种样式表语言。让html变得更好看的语言。

什么是CSS？
CSS是"Cascading Style Sheets"的缩写，用于控制网页元素的样式和布局。它可以将样式应用于HTML元素，使我们可以控制元素的颜色，字体，大小，布局等。

如何使用CSS？
CSS可以以三种方式加入到HTML中：

内部样式表：在部分中使用

<head>
<style>
p {color: red;
}
</style>
</head>

五、CSS基础语法

CSS的基本语法由两部分组成：选择器和声明块。
在这里插入图片描述
CSS Syntax
选择器指向你想要样式化的HTML元素。
声明块包含一个或多个声明。每个声明由一个属性和一个值组成，属性和值之间用冒号分隔，每个声明用分号结束。
常用CSS属性
以下是一些CSS属性的示例：

color: 可以设置文本颜色。例如：

color: 可以设置文本颜色。例如：p {color: red;
}
以上代码将把所有<p>标签的字体颜色设置为红色。font-size: 用来设置文本的字体大小。例如：p {font-size: 20px;
}
以上代码将把所有<p>标签的font-size设置为20像素。background-color: 用来设置元素的背景色。例如：body {background-color: lightblue;
}
以上代码将背景色设置为浅蓝色。margin: 用来设置元素的外边距。例如：p {margin: 10px;
}
以上代码将所有<p>标签的margin设置为10像素。padding: 用来设置元素的内边距。例如：p {padding: 10px;
}
以上代码将所有<p>标签的padding设置为10像素。border: 用来设置元素的边框。例如：p {border: 1px solid black;
}

以上代码将把所有

标签的border设置为1像素的黑色实线边框。

六、一个简单网页模板

<!DOCTYPE html>
<html>
<head>
<title>我的第一个网页</title>
<style>
h1{
color:red;
font-size: 200px;
}body {background-color: lightblue;
}
</style>
</head>
<body>
<h1>这是我的网页</h1>
<a href="https://www.baidu.com"> <img src="image.jpg"></a>
<video controls>
<source src="demo.mp4" type="video/mp4">
</video>
</body></html>

七、BeautifulSoup库

BeautifulSoup是一个Python库，用于从网页抓取数据。它通过对HTML和XML的解析，使得网络数据的抽取变得很容易。
安装 Beautiful Soup

pip install beautifulsoup4

导入库并处理网页
在Python中，第一步就是导入你想要使用的库。这里，我们同时还需要用到另外一个库-requests，用于从网页获取HTML。

from bs4 import BeautifulSoup
import requests

接着，我们使用requests库获取网页HTML，然后将其传递给BeautifulSoup。

url = 'https://www.thepaper.cn/newsDetail_forward_26425054'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

BeautifulSoup 提供了几种不同的解析器，主要用于解析HTML/XML等标记语言：

1.html.parser：这是标准库中的HTML解析器，即不需要安装任何额外的库就可以使用。虽然速度略慢，但可以满足大部分简单的HTML解析需求。

2.lxml：这是一个非常高效的库，可以处理HTML和XML。相比于html.parser，它通常要更快，也更强大。但这是一个外部库，所以使用之前需要安装：pip install lxml

3.html5lib：这个解析器更多地把HTML看作为浏览器所看到的一类文档，并确保象浏览器一样处理它。比如没有闭合的标签，浏览器也会正常解析，而html5lib同样可以处理。但它的速度比另外两种解析器慢。这也是一个外部库，使用之前需要安装：pip install html5lib

你可以选择其中任何一种解析器，只需在创建BeautifulSoup对象时，将它的名字作为第二个参数：

from bs4 import BeautifulSoupsoup = BeautifulSoup(html_doc, 'html.parser')
# or
soup = BeautifulSoup(html_doc, 'lxml')
# or
soup = BeautifulSoup(html_doc, 'html5lib')

在选择解析器时，建议优先使用lxml，因为它速度快，功能丰富。如果lxml不能使用，那么可以使用内建的html.parser，如果都不能使用，那就选用html5lib。

以上三种解析器都符合 Beautiful Soup 的解析器规范，可以互换使用，不会改变你在 Beautiful Soup 4.4.0 新增加的那段代码应该如何运行的事实。

八、查找标签

BeautifulSoup提供了许多功能，使得查找特定HTML标签变得非常简单，例如我们想找到所有的段落标签

:

paragraphs = soup.find_all('p')

这将会返回一个包含所有

标签的列表。你可以通过遍历这个列表来操作每一个标签。
在这里插入图片描述

九、获取标签的属性和文本

每个标签都可能有多个属性（例如class、id等），你可以像操作字典一样操作这些属性：

first_paragraph = paragraphs[0]
class_of_first_paragraph = first_paragraph['class']

如果你想获取标签中的文本内容，可以使用.text属性：

text_of_first_paragraph = first_paragraph.text

案例：

#进阶爬虫练习
#导库
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7','Accept-Encoding': 'gzip, deflate, br','DNT': "1",'Connection': 'keep-alive','Upgrade-Insecure-Requests': '1','Sec-Fetch-Site': 'none','Sec-Fetch-Mode': 'navigate','Sec-Fetch-User': '?1','Sec-Fetch-Dest': 'document'
}
#寻址
url = "https://www.thepaper.cn/newsDetail_forward_26425054"#请求
res = requests.get(url,headers=headers)#处理数据
soup = BeautifulSoup(res.text,"html.parser")#方法一
# #find单独查找，find_all查找所有
unit = soup.find("div",class_="index_cententWrap__Jv8jK")  #查找一个标签
units = soup.find_all("div",class_="index_cententWrap__Jv8jK")   #查找所有标签，返回的是一个列表# print(unit.text)for i in units:print(i.text)#打印标签的文本信息# 方法二
units = soup.select(".index_cententWrap__Jv8jK")  #通过css选择器选择，返回一个列表for i in units:print(i.text)#获取文本print(i.attrs)#获取标签的属性print(i.attrs["class"])#获取单独某个值#方法三
image = unit.img  #直接找到子标签img_src = image.attrs["src"]with open("image2.jpg","wb") as f:res = requests.get(img_src,headers=headers)f.write(res.content)

这篇关于Python爬虫第二章（HTMl文件，CSS语言与第三方库Beautiful Soup）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/792405。

相关文章

Python列表去重的4种核心方法与实战指南详解

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1：集合(set)去重法（最快速）方法2：顺序遍历法（保持顺序）方法3：副本删除法（原地修改）方法4：
阅读更多...
Python运行中频繁出现Restart提示的解决办法

Python运行中频繁出现Restart提示的解决办法

《Python运行中频繁出现Restart提示的解决办法》在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的Python程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼... 目录问题描述代码示例无限循环递归调用内存泄漏解决方案1. 检查代码逻辑无限循环递归调用内存泄漏2.
阅读更多...
Python中判断对象是否为空的方法

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化
阅读更多...
使用Python构建一个Hexo博客发布工具

使用Python构建一个Hexo博客发布工具

《使用Python构建一个Hexo博客发布工具》虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个... 目录引言Hexo博客系统简介设计需求技术选择代码实现主框架界面设计核心功能实现1. 发布文章2. 加
阅读更多...
python logging模块详解及其日志定时清理方式

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》：本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo
阅读更多...
JS+HTML实现在线图片水印添加工具

JS+HTML实现在线图片水印添加工具

《JS+HTML实现在线图片水印添加工具》在社交媒体和内容创作日益频繁的今天,如何保护原创内容、展示品牌身份成了一个不得不面对的问题,本文将实现一个完全基于HTML+CSS构建的现代化图片水印在线工具... 目录概述功能亮点使用方法技术解析延伸思考运行效果项目源码下载总结概述在社交媒体和内容创作日益频繁的
阅读更多...
Python如何自动生成环境依赖包requirements

Python如何自动生成环境依赖包requirements

《Python如何自动生成环境依赖包requirements》：本文主要介绍Python如何自动生成环境依赖包requirements问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录生成当前 python 环境 安装的所有依赖包1、命令2、常见问题只生成当前 项目 的所有依赖包1、
阅读更多...
前端CSS Grid 布局示例详解

前端CSS Grid 布局示例详解

《前端CSSGrid布局示例详解》CSSGrid是一种二维布局系统，可以同时控制行和列，相比Flex（一维布局），更适合用在整体页面布局或复杂模块结构中,：本文主要介绍前端CSSGri... 目录css Grid 布局详解（通俗易懂版）一、概述二、基础概念三、创建 Grid 容器四、定义网格行和列五、设置行
阅读更多...
如何将Python彻底卸载的三种方法

如何将Python彻底卸载的三种方法

《如何将Python彻底卸载的三种方法》通常我们在一些软件的使用上有碰壁,第一反应就是卸载重装,所以有小伙伴就问我Python怎么卸载才能彻底卸载干净,今天这篇文章,小编就来教大家如何彻底卸载Pyth... 目录软件卸载①方法：②方法：③方法：清理相关文件夹软件卸载①方法：首先，在安装python时，下
阅读更多...
python uv包管理小结

python uv包管理小结

《pythonuv包管理小结》uv是一个高性能的Python包管理工具,它不仅能够高效地处理包管理和依赖解析,还提供了对Python版本管理的支持,本文主要介绍了pythonuv包管理小结,具有一... 目录安装 uv使用 uv 管理 python 版本安装指定版本的 Python查看已安装的 Python
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2