爬取大学排名信息实验报告

爬取大学排名信息实验报告

一、概述

爬虫是一组客户端程序，它的功能是访问web服务器，从服务器中获取网页数据。本次实验是使用urllib.request和BeautifulSoup 库方法定向爬取给定网址的数据，通过解析数据，在屏幕打印出爬取到的大学排名信息。

二、主体

1.本次实验可分为四部分进行，分别为获取网页信息、解析网页数据、打印网页信息、运行主程序。

2.导入urllib.request程序包、bs4文件包以及BeautifulSoup库。

3.获取网页信息

1)定义函数getHTMLText获取网页信息，给定url地址:

def getHTMLText(url):url = ""https://www.shanghairanking.cn/rankings/bcur/2020"

2)使用urllib.request程序包访问并打开url的网址:

req = urllib.request.Request(url)
data = urllib.request.urlopen(req)

3)读取网页数据信息：

data = data.read()

4)将网页中的二进制数据转换为字符串，转换编码为 UTF-8：

data = data.read().decode()

5)整体代码如下：

4.解析网页数据

1)定义函数fillUnivList解析网页数据：

 def fillUnivList(list, html):

2)创建BeautifulSoup对象soup,并通过html进行解析：

soup = BeautifulSoup(html, "html.parser")

3)使用soup.find()方法查找标签：

for tr in soup.find('tbody').children:

4)定义列表单独存储标签：

    a = tr('a')tds = tr('td')

5)使用strip()函数，移除字符串头尾指定的字符：

list.append([tds[0].text.strip(), a[0].string.strip(), tds[2].text.strip(),tds[3].text.strip(), tds[4].text.strip()])

6)整体代码如下：

5.打印网页数据

1)定义函数printUnivList打印输出结果：

 def printUnivList(list1, num):

2)格式化输出数据：

 tplt = "{0:  ^10}\t{1:  ^10}\t{2:  ^12}{3:  ^10}\t{4:  ^10}"print(tplt.format("排名", "学校名称", "省份", "学校类型", "总分"))

3)打印结果：

 for i in range(num):u = list1[i]print(tplt.format(u[0], u[1], u[2], u[3], u[4]))print()

4)统计打印结果：

  print("以上共有记录" + str(num) + "条。")

5)整体代码如下：

6.运行程序

1)定义函数main：

 def main():

2)定义列表：

 uinfo = []

3)url地址：

 url = "https://www.shanghairanking.cn/rankings/bcur/2020"

4)调用函数：

html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 30)

5)整体代码如下：

6)运行结果如下：
30条记录:

前10条记录：

三、总结

通过本次实验，我将学习到的理论知识落实在实践上，加深了我对urllib.request和BeautifulSoup 库方法的理解，学习了程序包爬取数据的使用方法，了解了BeautifulSoup处理数据的过程。通过运用两种库方法，我成功爬取到给定网址上的大学排名信息，并顺利打印在屏幕上。