用 Python 爬取热搜记录，看看王思聪究竟上了多少次热搜？

本文主要是介绍用 Python 爬取热搜记录，看看王思聪究竟上了多少次热搜？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

图书+视频+源代码+答疑群，一本书带你入Python

作者 | 朱小五
本文经授权转载自凹凸玩数据（ID：alltodata）

这次不太一样。

王思聪又又又上了微博热搜——然而这次却不是关于娱乐圈。

最近几天，王思聪与他的“限消令”接连登上热搜榜，引发吃瓜群众们广泛热议。

知乎的段子手们也纷纷发挥自己的想象力。

小五本来想看看王思聪的微博，结果发现他的微博早已做了隐藏。

那么我们不妨干脆转换一下思路，从微博热搜看看“娱乐圈纪检委”——王校长的热搜往事。

获取数据

微博热搜历史数据在哪找？

小五曾经在【蔡徐坤1亿转发量幕后推手被封】一文中分析蔡徐坤和鹿晗的热搜次数时就用到过——【热搜神器】网站，统计了历史的微博热搜记录。

打开官网，F12，Network查看异步请求XHR。

成功找到返回json格式数据的url，不了解json的读者可以看【python玩转Json数据】。

利用requests爬取数据，完整代码下载见文末。

resou = pd.DataFrame(columns=['datetime','title','searchCount'])

for i in range(1,20):
    url= 'https://www.enlightent.cn/research/top/getWeiboRankSearch.do?keyword=王思聪&from='+ str(i) +'&t=395201742&type=realTimeHotSearchList'
    html = requests.get(url=url, cookies=cookie, headers=header).content
    data = json.loads(html.decode('utf-8'))
    for j in range(20): #一页20个
        resou = resou.append({'datetime':stampToTime(data['rows'][j]['updateTime']),
                'title':data['rows'][j]['keywords'],'searchCount':data['rows'][j]['searchNums'],
                              },ignore_index=True)

resou.to_csv("resou.csv", index_label="index_label",encoding='utf-8-sig')
成功获取王思聪2017年5月-至今的所有微博热搜数据，共208条。

也就是说在这923天中，王思聪共上了208次热搜！！！平均4.4天就上一次热搜！！！

数说2017热搜往事

首先，小五利用pyecharts生成思聪在2017年上热搜的日历热度图。

calendar = (
        Calendar(init_opts=opts.InitOpts(width='1800px',height='1500px'))
        .add("", data,calendar_opts=opts.CalendarOpts(range_=['2017-05-01', '2017-12-31']))
        .set_global_opts(
            title_opts=opts.TitleOpts(title="思聪2017年热搜",pos_left='15%'),
            visualmap_opts=opts.VisualMapOpts(
                max_=200000,min_=0,orient="horizontal",is_piecewise=True,pos_top="230px",pos_left="100px",pos_right="10px"))
        .render('2017日期热力图.html'))