Python3网络爬虫教程13——BeautifulSoup4基本使用及遍历文档树

本文主要是介绍Python3网络爬虫教程13——BeautifulSoup4基本使用及遍历文档树，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

上接：
Python3网络爬虫教程12——页面解析及正则表达式的使用
https://blog.csdn.net/u011318077/article/details/86633330

5. BeautifulSoup4使用

BeautifulSoup4
官方文档地址：
https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#id7
几个常用提取信息工具的比较
- 正则：很快，但是正则表达式很难完美写出
- beautifulsoup4: 慢，使用简单，安装简单，数据较少时推荐使用
- lxml: 比较快，使用简单，安装一般
BeautifulSoup4的用法
参考案例67_7

5.1. HTML或XML中的四大对象

四大对象
- Tag
- NavigableString
- Beautifulsoup
- Comment
Tag（标签对象）
- 对应HTML中的标签
- 可以通过soup.tag_name
- tag标签有两个重要的属性
  - name
  - attribute(使用时用.attrs)
    - attrs属性是一个字典，修改删除类似于字典
- 参考实例67_8
NavigableString（一般为字符串对象）
- 查看标签内容中的值
- 用法tag_name.string
- 标签中的内容不能编辑，但是可以替换
- 参考实例67_9,参考实例67_11
Beautifulsoup（整个文档对象）
- 表示一个文档的内容，大部分可以当做一个tag对象
- Beautifulsoup实例的对象包含一个特殊的属性
- 对象包含了一个值为 “[document]” 的特殊属性
- 使用方法 soup.name
- 参考实例67_9
Comment（注释对象）
- 通常情况下Tag , NavigableString , BeautifulSoup 几乎覆盖了
- html和xml中的所有内容,但是还有一些特殊对象.
- 容易让人担心的内容是文档的注释部分
- Comment对象是一个特殊类型的 NavigableString 对象
- 参考实例67_10

5.2. 遍历文档树

5.2.1. 子节点

子节点
- 一个Tag可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点.
- Beautiful Soup提供了许多操作和遍历子节点的属性.
- 操作文档树最简单的方法就是告诉它你想获取的tag的name
- BS可以补全html文档中缺少的标签
- 通过点取属性的方式只能获得当前名字的第一个tag
- 得到所有的标签,或是通过名字得到比一个tag更多的内容的时候
  - soup.find_all(‘a’)
  - find_all返回的是一个列表
- 参考实例67_12,补全后的内容参考67_12.html
- 爱丽丝梦游仙境的例子，浏览器中显示的文档
  
  The Dormouse’s story
  Once upon a time there were three little sisters;
  and their names were Elsie, Lacie and Tillie;
  and they lived at the bottom of a well.
  …
子节点中的.contents .children .descendants
- .contents 属性可以将tag的子节点以列表的方式输出
- 标签也是 BeautifulSoup 对象的子节点
- 字符串没有 .contents 属性,因为字符串没有子节点
- 通过tag的 .children 生成器,可以对tag的子节点进行循环
- 但是标签也包含一个子节点:字符串 “The Dormouse’s story”,
- 这种情况下字符串 “The Dormouse’s story”也属于标签的子孙节点.
- .descendants 属性可以对所有tag的子孙节点进行递归循环
- 参考实例67_13
.string .strings 和 stripped_strings
- 如果tag只有一个 NavigableString 类型子节点,
- 那么这个tag可以使用 .string 得到子节点
- 如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,
- 输出结果与当前唯一子节点的 .string 结果相同
- 如果tag包含了多个子节点,tag就无法确定
- .string 方法应该调用哪个子节点的内容,的输出结果是 None
- 参考案例67_14
- 如果包含多个字符串,可以使用 .strings 来循环获取
- 输出的字符串中可能包含了很多空格或空行,
- 使用 .stripped_strings 可以去除多余空白内容
- 参考案例67_15

5.2.2. 父节点，兄弟节点

通过 .parent 属性来获取某个元素的父节点.
- 在例子“爱丽丝”的文档中,标签是标签的父节点
- 文档title的字符串也有父节点:标签
- 文档的顶层节点比如的父节点是 BeautifulSoup 对象
- BeautifulSoup 对象的 .parent 是None
- 参考实例67_16
通过元素的 .parents 属性可以递归得到元素的所有父辈节点
- 通过元素的 .parents 属性可以递归得到元素的所有父辈节点,
- 使用了 .parents 方法遍历了标签到根节点的所有节点
- .prettify()可以查看兄弟节点
- 参考实例67_17