Python爬取近十年TIOBE编程语言热度数据并可视化!

本文主要是介绍Python爬取近十年TIOBE编程语言热度数据并可视化!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文介绍如何利用requests+正则表达式爬取TIOBE编程语言热度数据,并使用openpyxl写入数据与pyecharts时间轮播图进行可视化。

一、数据获取

我们需要爬取的目标url为https://www.tiobe.com/tiobe-index/打开之后如下

分析网页源代码可以找到想要的数据,利用正则表达式提取出想要的数据,并保存到Excel中,便于后续数据处理和可视化。

完整爬虫代码如下,其中大多数语句都给出了详细注释,感兴趣的读者可以进一步研究。

# -*- coding: UTF-8 -*- 
""" 
@File    :spider.py 
@Author  :叶庭云 
@CSDN    :https://yetingyun.blog.csdn.net/ 
""" 
import requests 
import re 
import openpyxl 
import logging logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') 
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" 
} wb = openpyxl.Workbook()    # 创建工作簿对象 
sheet = wb.active           # 获取活动的工作表 
# 编程语言   时间    热度 
sheet.append(['Programing', 'Date', 'data_per']) url = 'https://www.tiobe.com/tiobe-index/' 
rep = requests.get(url, headers=headers).text # 正则匹配提取数据 
data = re.findall('{name : (.*?),data : (.*?)}', rep) 
programing = [eval(k[0]) for k in data]     # 编程语言 
dates = [i[1] for i in data] # 正则表达式处理 提取出想要的数据 
for x in range(len(dates)): name = programing[x] datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL) for m in datas: date1 = re.findall(r'\d+', m)       # 正则提取出数字 date2 = '-'.join(date1[:3])         # 拼接得到时间 data_per = '.'.join(date1[-2:])     # 得到热度数据 sheet.append([name, date2, data_per]) logging.info([name, date2, data_per]) wb.save('language_data.xlsx') 

最终运行效果如下:

可以看到成功提取出想要的数据,并保存到Excel,在jupyter notebook 环境中查看数据:

二、 数据可视化

本节使用pyecharts绘制时间轮播图数据可视化,展示现在热度排 Top10 的编程语言 2009-2019 年每年的平均热度变化。

# -*- coding: UTF-8 -*- 
""" 
@File    :轮播图.py 
@Author  :叶庭云 
@CSDN    :https://yetingyun.blog.csdn.net/ 
""" import pandas as pd 
import xlrd 
import pyecharts.options as opts 
from pyecharts.charts import Timeline, Bar 
from pyecharts.globals import CurrentConfig CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 提取编程语言名字 
name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates()) data = xlrd.open_workbook('language_data.xlsx') 
table = data.sheets()[0] dic1 = {k: [] for k in name} 
# 各编程语言对应每年里不同时间的热度 
for i in range(1, table.nrows): x = table.row_values(i) dic1[x[0]].append((x[1], x[2])) # 与编程语言顺序对应  每年编程语言对应的不同时间的热度 
data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)} 
print(data_per) count = 0 
for k, v in dic1.items(): for j in v:   # v (时间,热度)  热度数据添加进各年对应的列表里 data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年里各编程语言不同时间时的热度  对应起来 count += 1 # print(data_per) 
data_per1 = {k: [] for k in list(data_per.keys())} for k, v in list(data_per.items()): for x in v: if len(x) == 0:                  # 这一年里该语言没有热度数据 data_per1[k].append(0) else: avg = sum(x) / len(x) data_per1[k].append(avg)     # 这一年里的平均热度 # 得到TOBIE现在排Top20的编程语言从2001年开始每年的平均热度 
print(data_per1) def get_year_overlap_chart(year) -> Bar: sum_info = [(m, n) for m, n in zip(name, data_per1[year])] # 编程语言按每年平均热度排序 sum_info.sort(key=lambda z: z[1], reverse=True) name_ = [m[0] for m in sum_info] datas = [m[1] for m in sum_info] # 每根柱子的颜色列表 colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970', '#9932CC'] x = [] for i in range(10): x.append( opts.BarItem( name=name_[i], value=datas[i], itemstyle_opts=opts.ItemStyleOpts(color=colors[i])   # 设置每根柱子的颜色 ) ) # 绘制柱形图 bar = Bar() bar.add_xaxis(name_) bar.add_yaxis(series_name='热度', yaxis_data=x, is_selected=True, label_opts=opts.LabelOpts(is_show=False)) bar.set_global_opts(title_opts=opts.TitleOpts( title="2009-2019编程语言热度"), tooltip_opts=opts.TooltipOpts( is_show=True, trigger="axis", axis_pointer_type="shadow"), xaxis_opts=opts.AxisOpts(name='编程语言'), yaxis_opts=opts.AxisOpts(name='热度'), ) return bar # 生成时间轴的图 
timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px")) 
for y in range(2009, 2020): timeline.add(get_year_overlap_chart(y), time_point=str(y)) timeline.add_schema(is_auto_play=True, play_interval=1000) 
timeline.render("language_2009_2019.html") 

运行效果如下,可以看到虽然Python越来越火热,但Java稳坐编程语言热度排行榜第一!(此处一位PHP程序员拍桌)

三、补充

本节对有时候pyecharts绘制的图形渲染在网页上无法加载js文件的问题进行说明。

根据网站资源引用说明:pyecharts 使用的所有静态资源文件存放于pyecharts-assets项目中

默认挂载在 https://assets.pyecharts.org/assets/,因为默认优先从远程引用资源,这就导致有的时候无法加载 js 文件,图表显示不出来。

解决办法:下载所需 js 文件到本地,修改资源引用地址,Github地址:https://github.com/pyecharts/pyecharts-assets看网站的介绍,pyecharts 提供了更改全局 HOST 的快捷方式。

from pyecharts.globals import CurrentConfig CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 资源的路径 

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

 

这篇关于Python爬取近十年TIOBE编程语言热度数据并可视化!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/176809

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.