爬取中国最好大学排名—

爬取中国最好大学排名——python+requests+bs4

本文主要是介绍爬取中国最好大学排名——python+requests+bs4，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

爬虫实例来源：中国大学mooc平台北京理工大学嵩天老师的《Python程序语言设计基础》课程

talk is cheep,show me the code:

# coding=utf-8
import requests
from bs4 import BeautifulSoupallUniv=[]  #all university#requests库获取url页面的全部内容，作为返回值返回
def getHTMLText(url,timeout=30):try:r=requests.get(url)r.raise_for_status()r.encoding='utf-8'return r.textexcept:return ""#将requests库获取的数据，交由bs4清洗，提取出<tr>中的<td>（表格）中的<a>标签中的信息，每一行的数据先按列存入singleUniv一维数组，然后按行存入allUniv二维数组中def fillUnivList(soup):data=soup.find_all('tr')#找到所有的tr，一个tr包含一所学校的所有信息："排名","学校名称","省份","类型","总分","办学层次"for tr in data:ltd=tr.find_all('td')#找到tr中所有的td，一个td包含学校的一个具体信息，如排名、学校名称等if len(ltd)==0: #如果tr中没有找到td，进入下一次循环continuesingleUniv=[]for td in ltd:tda=td.find('a')    #寻找td中的<a>标签，其中包含学校名称，实际网站中只会有一个<a>标签，使用find()即可，存入tda中if tda:UniName=tda.string  #如果tda不为空,将学校名称赋值给UniName，下一步存入singleUniv中singleUniv.append(UniName)elif td.string.strip(): #strip方法去除两侧（不包含内部）空格的字符串，如果不为空，存入singleUniv中singleUniv.append(td.string.strip())allUniv.append(singleUniv)#将allUniv中的数据写入txtPath路径所指的txt文件中，并使用string.format格式化每条数据
#也可在参数中添加num参数，控制写入的数据量——前num名
def printUnivListInText(txtPath):with open(txtPath,'w+',encoding='utf-8') as t:s='{1:^4}{2:{0}^10}{3:{0}^7}{4:{0}^6}{5:{0}^8}{6:{0}^8}'.format(chr(12288),"排名","学校名称","省份","类型","总分","办学层次")t.write(s)#排名1到100有办学层次的信息，排名100之后没有for i in range(100):u=allUniv[i]t.write('\n{1:^4}{2:{0}^12}{3:{0}^4}{4:{0}^10}{5:{0}^8.5}{6:{0}^8}'.format(chr(12288),u[0],u[1],u[2],u[3],float(u[4]),u[5]))for i in range(100,len(allUniv)):u=allUniv[i]t.write('\n{1:^4}{2:{0}^12}{3:{0}^4}{4:{0}^10}{5:{0}^8.5}'.format(chr(12288),u[0],u[1],u[2],u[3],float(u[4])))t.close()#为url、txtPath赋值，为程序提供数据源和数据写入位置
if __name__=="__main__":url = 'https://www.shanghairanking.cn/rankings/bcur/2020'txtPath = r'C:\Users\Administrator\Desktop\test.txt'html = getHTMLText(url)soup = BeautifulSoup(html, 'html.parser') #非自定义函数fillUnivList(soup)printUnivListInText(txtPath)  # 可在参数中填入参数num，返回指定排名范围内的信息#要获取的数据在网页中嵌套的形式是：
"""
<tr data-v-45ac69d8><td data-v-45ac69d8>
1           # 排名
</td><td class="align-left" data-v-45ac69d8>
<a href="/institution/tsinghua-university" data-v-45ac69d8>
清华大学    #学校名称
</a>
<p style="display:none" data-v-45ac69d8></p>
</td><td data-v-45ac69d8>
北京      #省份
</td><td data-v-45ac69d8>
综合      #类型
</td><td data-v-45ac69d8>
852.5    #总分
</td><td data-v-45ac69d8>
38.2       #办学层次
</td></tr>
"""