Pyhton爬取TIOBE编程语言信息

简介

百度百科

TIOBE排行榜是根据互联网上有经验的程序员、课程和第三方厂商的数量，并使用搜索引擎（如Google、Bing、Yahoo!）以及Wikipedia、Amazon、YouTube统计出排名数据，只是反映某个编程语言的热门程度，并不能说明一门编程语言好不好，或者一门语言所编写的代码数量多少。

了解了什么是TIOBE，接下来让我们爬取一下TIOBE里面的编程语言排行榜的信息。

爬取过程

1、打开TIOBE官网https://www.tiobe.com/tiobe-index/，检查分析页面信息

2、根据这些数据信息内容，利用python可以把这些信息给爬取下来，这里要使用python的requests库，具体使用方法可参考requests文档

import requests #导入re库#Tiobe网站链接
url = 'https://www.tiobe.com/tiobe-index/' 
#请求头
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36 Edg/83.0.478.54'}#获取页面的html文本
response = requests.get(url,headers=headers)
htmlText = response.text

这样就可以获取页面的html文本信息，通过分析html元素，找到需要爬取的数据信息

3、获取数据信息，通过正则表达式来获取相关的数据信息，这里要使用python的re库，具体使用方法可参考re文档

import re #导入re库#提取数据内容
tiobeData = re.findall(r'series:([\s\S]*)\}\);',html)[0]
context = re.findall(r'\{name(.*?)\}',tiobeData)for j in range(len(context)):dataAll = context[j]name = re.findall(r"'(.*?)'",text)[0]	#获取编程语言名称data = re.findall(r'\[Date.UTC(.*?)\]',text)	#获取所有编程语言的数据信息#分别获取每种编程语言的信息for i in range(len(data)):#处理日期信息s = data[i].replace(' ','').replace('(','').replace(')','').split(',')year = s[:1][0]month = s[1:2][0]#将日期处理为yyyy-MM-dd格式if int(month)<10:if int(month)==0:year = int(year)-1month = '12'else:month = '0'+monthday = s[2:3][0]if int(day)<10:day = '0'+daytime = str(year)+'-'+month+'-'+day#获取相应的值value = s[3:][0]temp={'Programming':name,	#编程语言名称'Value':value,	#编程语言受欢迎的值'Date':time	#日期}print(temp)	#输出数据信息

通过对数据进行分析和处理，最后将爬取的数据信息进行格式化整理如下（部分数据）：

4、将处理好的数据保存到本地csv文件

import csv #导入csv库#创建本地保存文件
file = open('TiobeProgramming.csv','w',newline='')
writer = csv.writer(file)
writer.writerow(['Programming','Value','Date'])	#表头信息#接着就把上面代码中的注释'''temp={'Programming':name,'Value':value,'Date':time}print(temp)
'''
#加上一下代码
writer.writerow([name,value,time])#最后关闭文件
file.close()

这时在py文件同一目录下生成了csv文件，用excel即可打开

全部代码

import requests
import re
import csv#Tiobe网站链接
url = 'https://www.tiobe.com/tiobe-index/'#请求头
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36 Edg/83.0.478.54'}#创建本地保存文件
file = open('TiobeProgramming.csv','w',newline='')
writer = csv.writer(file)
writer.writerow(['Programming','Value','Date'])#获取html文本
def getHtml(url,headers):response = requests.get(url,headers=headers)return response.text#获取数据
def dealData(text):name = re.findall(r"'(.*?)'",text)[0]data = re.findall(r'\[Date.UTC(.*?)\]',text)for i in range(len(data)):s = data[i].replace(' ','').replace('(','').replace(')','').split(',')year = s[:1][0]month = s[1:2][0]if int(month)<10:if int(month)==0:year = int(year)-1month = '12'else:month = '0'+monthday = s[2:3][0]if int(day)<10:day = '0'+daytime = str(year)+'-'+month+'-'+day        value = s[3:][0]'''temp={'Programming':name,'Value':value,'Date':time}print(temp)'''writer.writerow([name,value,time])html = getHtml(url,headers)
#提取数据信息
tiobeData = re.findall(r'series:([\s\S]*)\}\);',html)[0]
context = re.findall(r'\{name(.*?)\}',tiobeData)for j in range(len(context)):text = context[j]dealData(text)file.close()

利用处理后的数据，可以进一步对数据进行可视化分析。