本文主要是介绍网络爬虫_BeautifulSoup,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
import requests
from bs4 import BeautifulSoupr = requests.get("https://www.python123.io/ws/demo.html")
demo = r.text # demo获取url所有源代码# BeautifulSoup 解析网页源代码
# 格式:BeautifulSoup('url', 'html.parser')
# 格式:BeautifulSoup(open('file'), 'html.parser')
soup = BeautifulSoup(demo, 'html.parser') # html.parser解析器
print(soup.prettify()) # 查看解析内容"""BeautifulSoup库的基本元素<p class="title">...</p>
<></>: 标签,成对出现。
p: 名字。 # <tag>.name
class="title": 属性。 # <tag>.attrs
...: 字符串。 # <tag>.string """# BeautifulSoup 基本操作
url = "https://www.python123.io/ws/demo.html"
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo, 'html.parser')
print(soup.title)
a = soup.a # 返回a标签,只获取第一个a标签。
a_name = soup.a.name # 获取a标签的名字
a_parent_name = soup.a.parent.name # 获取a标签上一层标签的名字
print(a.attrs) # a标签属性
print(a.string) # a标签内容print(soup.prettify()) # HTML格式化和编码# 获取页面中所有url内容。
soup = BeautifulSoup(demo, "html.parser")
for link in soup.find_all('a'):print(link.get('href'))# 基于bs4库中HTML查找方法。
import requests
from bs4 import BeautifulSoupurl = "https://www.python123.io/ws/demo.html"
r = requests.get(url)
demo = r.text
soup = BeautifulSoup(demo, "html.parser")
for tag in soup.find_all(True):print(tag.name)
"""<>.find_all()<>.find_all(name, attrs, recursive, string, **kwargs)
name # 对标签名称的检索字符串。
attrs # 对属性值检索。
resursive # 是否对子孙检索,默认True。
string # 对<>...</>区域检索。
**kwargs 扩展方法
<>.find() # 同find_all()只返回一个结果。
<>.find_parents() # 在先辈节点中搜索。
<>.find_parent() # 在先辈节点中搜索,只返回一个元素。
<>.find_next_siblings() # 后续平行节点中搜索。
<>.find_next_sibling() # 后续平行节点中搜索,只返回一个元素。
<>.find_previous_siblings() # 前序平行节点中搜索。
<>.find_previous_sibling() # 前序平行节点中搜索,只返回一个元素。"""# 爬取中国大学排名前20大学排名总分名称
import requests
from bs4 import BeautifulSoup
import bs4def get_html_text(url):"""获取url中的text信息"""try:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept():return ""def fill_univ_list(u_list, html):"""将text中的信息存入u_list中"""soup = BeautifulSoup(html, 'html.parser')for tr in soup.find('tbody'):if isinstance(tr, bs4.element.Tag): # 检测标签类型tds = tr('td')u_list.append([tds[0].string, tds[1].string, tds[3].string]) # 将排名的参数作为字符串存储def print_univ_list(u_list, num):"""输出u_list中的信息"""print("{:^10}\t{:^6}\t{:^10}".format("排名", "学校名称", "总分"))for i in range(num):u = u_list[i]print("{:^10}\t{:^6}\t{:^10}".format(u[0], u[1], u[2]))print("Suc" + str(num))def main():u_info = []url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"html = get_html_text(url)fill_univ_list(u_info, html)print_univ_list(u_info, 20) # 20所学校相关信息if __name__ == "__main__":main()
这篇关于网络爬虫_BeautifulSoup的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!