国人为什么不再唯金牌论？——我用Python分析东京奥运会

写在前面的话

欢迎扫码关注我的公众号，与我一同进步！主要致力于学习

1. 使用深度学习解决计算机视觉相关问题
2. Python为主的互联网应用服务
3. 基于MIPS指令集的CPU微体系结构设计
   

引言

    今年的夏季奥运会于我们大多数国人来说，都是继北京奥运会之后非常有参与感的一届奥运会。我认为，主要有如下几个原因：

1. 2020年夏季奥运会举办城市在日本东京，而东京时间与北京时间的时差只有一个小时。我们不用黑白颠倒就可以赶上所有的赛事直播。
2. 国内的部分城市相继出现了部分新冠肺炎确诊病例，大部分人的暑期计划由“出游”转变为“家里蹲”。
3. 今年的中国代表团出现了大量的90后、00后军团，他们代表了中国青年一代，在奥运会上的亮眼表现得到了社会的广泛关注。
4. … …

于我来说，今年也利用各种各样的空闲时间，通过或直播、或回放的方式，观看了中国代表团的部分赛事。闲暇之余，也参与了微博上相关话题的讨论。其中，一个话题名为"#国人为何不再唯金牌论#"引起了我的极大兴趣。虽然我浏览了相关话题的评论，但仍觉得不过瘾。便萌想到可以获取到评论的数据，再利用Python进行分析。

获取数据

要想对数据进行分析，首先要获取数据。这一步，我们通过对网络请求进行分析获取。

首先，进入到微博手机版的界面(PC端界面无法获取到数据)。

链接地址：https://m.weibo.cn/

进入后的界面如图所示。

我们在搜索框中输入“#国人为何不再唯金牌论了#”，就可以看到如下图所示的界面。我们选择置顶的第一条微博，并点击进去。

同时，按"F12"或者鼠标右击页面，选择"检查"。我们选择新出现的功能栏中的“Network”，并选择"XHR"，就可以看到该页面加载过程中的网络请求了。

观察得到的网络请求中，我们会发现有一条以“hotflow”为开头的网络请求。点击进入到该请求中，查看响应的信息，发现为我们所需要的评论信息。

据此可得出结论，该目标网址就是我们需要的评论信息的网址。它将数据封装成json格式返回。因此，只要我们可以获取到该网址的返回值，就可以获取评论信息。

但是，新的问题又出现了：这只有20条评论信息，可是原微博有5000+评论信息。其他信息去哪了？在进行分析之后可以发现，评论信息是动态加载的，当我们不断向下拖动信息时，就可以获得所有的评论信息啦~

解决了所有问题之后，我们只剩下最后一步，将得到的信息进行处理，把我们需要的评论内容进行处理之后保存到文本文件中。我们使用如下的Python程序实现。

def get_data(review_file_path):"""在文件中读取数据，并对数据进行处理:param review_file_path: 评论文件的存储路径，string:return: 评论信息"""review_contents = []with open(review_file_path, 'r') as f:lines = f.readlines()f.close()n = len(lines)for i in range(n):line = json.loads(lines[i])review_datas = line['data']['data']data_nums = len(review_datas)# 设置开始读取评论的位置if i == 0:start = 1else:start = 0for j in range(start, data_nums):# 正则匹配处理文本其他信息pattern_01 = re.compile(r'<span class="url-icon">.*?</span>', re.S)pattern_02 = re.compile(r'<a .*?>.*?</a>', re.S)origin_review_content = review_datas[j]['text']review_content = re.sub(pattern_01, '', origin_review_content)review_content = re.sub(pattern_02, '', review_content)review_contents.append(review_content)return review_contents

最终获取的数据信息和评论信息(经过处理之后的数据信息)可通过如下链接下载。

数据信息
链接：https://pan.baidu.com/s/1EYC1kUf1p9XYQ_fOt_kp1w
提取码：dcn2

注：本文仅获取了1000条评论数据。

分析数据

对经过处理后的评论信息，使用Python的第三方库进行分词并将结果绘制为词云，它通过调用库函数即可，这里不再赘述。使用如下的Python程序实现。

def draw_picture(review_content_file_path):data = open(review_content_file_path, 'r', encoding='utf-8').read()# 分词word_list = jieba.cut(data, cut_all=True)word_list_result = ' '.join(word_list)# 词云的配置word_cloud = WordCloud(# 设置背景background_color='white',# 设置显示的最大的词云数量max_words=50,# 设置词的跨度font_step=10,# 设置字体font_path=r'C:\Windows\Fonts\simsun.ttc',# 设置词云的高度和宽度height=300,width=300,# 设置配色方案random_state=30)# 得到结果my_cloud = word_cloud.generate(word_list_result)plt.imshow(my_cloud)plt.axis("off")plt.show()

最终的绘制结果如图所示。

尾声

     从图中不难看出，一些亮眼的字眼，如：“自信”、“强大”、“证明”、“努力”、“国人”。他们给出了这个问题最好的回答：我们的国家强大了，我们的民族正在复兴，我们比以往任何时刻都更加坚定道路自信、理论自信、文化自信，我们不再需要用金牌证明自己。而这也是这届奥运会令我最震撼、最骄傲、最受益的地方！

完整代码

文章的最后奉上实现该分析的完整程序。

#!/usr/bin/env python
# -*- coding:utf-8 -*-"""
@ModuleName: get_data
@Function: 
@Author: PengKai
@Time: 2021/8/6 22:52
"""import re
import json
import jieba
import matplotlib.pyplot as plt
from wordcloud import WordClouddef get_data(review_file_path):"""在文件中读取数据，并对数据进行处理:param review_file_path: 评论文件的存储路径，string:return: 评论信息"""review_contents = []with open(review_file_path, 'r') as f:lines = f.readlines()f.close()n = len(lines)for i in range(n):line = json.loads(lines[i])review_datas = line['data']['data']data_nums = len(review_datas)# 设置开始读取评论的位置if i == 0:start = 1else:start = 0for j in range(start, data_nums):pattern_01 = re.compile(r'<span class="url-icon">.*?</span>', re.S)pattern_02 = re.compile(r'<a .*?>.*?</a>', re.S)origin_review_content = review_datas[j]['text']review_content = re.sub(pattern_01, '', origin_review_content)review_content = re.sub(pattern_02, '', review_content)review_contents.append(review_content)return review_contentsdef store_contents(review_contents):"""将得到的评论信息保存在文件中:param review_contents: 评论信息，List:return: None"""n = len(review_contents)with open('./review_data.txt', 'w', encoding='utf-8') as f:for i in range(n):text = review_contents[i] + '\n'f.write(text)f.close()def draw_picture(review_content_file_path):data = open(review_content_file_path, 'r', encoding='utf-8').read()# 分词word_list = jieba.cut(data, cut_all=True)word_list_result = ' '.join(word_list)# 词云的配置word_cloud = WordCloud(# 设置背景background_color='white',# 设置显示的最大的词云数量max_words=50,# 设置词的跨度font_step=10,# 设置字体font_path=r'C:\Windows\Fonts\simsun.ttc',# 设置词云的高度和宽度height=300,width=300,# 设置配色方案random_state=30)# 得到结果my_cloud = word_cloud.generate(word_list_result)plt.imshow(my_cloud)plt.axis("off")plt.show()if __name__ == '__main__':review_file_path = './data.txt'review_contents = get_data(review_file_path)store_contents(review_contents)review_content_file_path = './review_data.txt'draw_picture(review_content_file_path)