jieba+wordcloud分析豆瓣惊奇队长影评

复联三过后或许你还惊魂未定就被惊奇队长里的噬元兽吓到恐猫，whatever，本文将会介绍如何从豆瓣爬取惊奇队长的短评并加工处理生成词云。

爬取评论

首先还是爬取评论，老规矩用requests和BeautifulSoup就行。通过查看网页源码容易发现所有的短评都放在span标签中且class为short，这样就很方便了，用find_all就完事了。

# -*- coding:utf-8 -*-
import requests
import time
import random
from bs4 import BeautifulSoupurls = []
for i in range(0, 500, 20):urls.append('https://movie.douban.com/subject/26213252/comments?start=' + str(i) + '&limit=20&sort=new_score&status=P')  # 评论的翻页def singlepage_comment(url):# 得到单页的评论headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)''Chrome/65.0.3325.162 Safari/537.36'}html = requests.get(url, headers)html.encoding = 'utf-8'soup = BeautifulSoup(html.text, 'lxml')fk = []for comment in soup.find_all(name='span', class_='short'):fk.append(comment.text)return fk# singlepage_comment('https://movie.douban.com/subject/26213252/comments?start=40&limit=20&sort=new_score&status=P')def store_comment(fk):# f = open('comments.txt', mode='w', encoding='utf-8')for comment in fk:f.write(comment)f.write('\n\n')# f.close()f = open('comments.txt', mode='w', encoding='utf-8')
for url in urls:comments = singlepage_comment(url)#print(comments)store_comment(comments)time.sleep(random.randrange(1, 3))  # 反爬f.close()

分词

分词这个部分使用jieba
具体的使用可以参考 https://github.com/fxsjy/jieba
安装使用的话 pip3 install jieba
ps. 若此处遇到安装错误的情况可能是pip版本太旧导致，运行python -m pip intsall --upgrade pip即可。

#-*- coding:utf-8 -*-
import jiebaf = open('comments.txt', mode='r', encoding='utf-8')comments = f.readlines()#sentence = "1.第一次看电影片头就有人鼓掌，Thank You Stan；2.漫威还是比DC会选角，神奇女侠完全是物化女性审美，惊奇队长是真女权，没有任何爱情戏，是女人就靠自己；3.铲屎官噩梦。"jieba.load_userdict('dict.txt')for comment in comments:seg_list = jieba.cut(comment)print("Full Mode: " + "/ ".join(seg_list))

对于这样一个语境，使用默认的字典分词会得到一些奇怪的结果，例如

Full Mode: 1/ ./ 第一次/ 看/ 电影片/ 头/ 就/ 有人/ 鼓掌/ ，/ Thank/  / You/  / Stan/ ；/ 2/ ./ 漫威/ 还是/ 比/ DC/ 会选角/ ，/ 神奇/ 女侠/ 完全/ 是/ 物化/ 女性/ 审美/ ，/ 惊奇/ 队长/ 是/ 真/ 女权/ ，/ 没有/ 任何/ 爱情/ 戏/ ，/ 是/ 女人/ 就/ 靠/ 自己/ ；/ 3/ ./ 铲/ 屎/ 官/ 噩梦/ 。

可见jieba并不能识别出例如惊奇队长、漫威、铲屎官、噬元兽等角色名以及一些简写、网络语言等，因此需要手动添加用户词典，这里我添加了一些常见的名词。
ps.这个列表可以通过查看分词的结果逐步加以调整

惊奇队长
漫威
DC
神奇女侠
美国队长
铲屎官
噬元兽
复联4
咕咕
尼克费瑞
寇森
美队
斯坦李
银河护卫队

添加用户词典后，分词的准确性和有效性就大为增长。

生成词云

这一步相对就较为简单了。
同样先安装wordcloud库pip3 install wordcloud
还需要用到matplotlib 这是一个画图的库

#-*- coding:utf-8 -*-
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jiebaf = open('comments.txt', mode='r', encoding='utf-8')
comments = f.readlines()
jieba.load_userdict('dict.txt')text = ''
for comment in comments:text += ' '.join(jieba.cut(comment))wordcloud = WordCloud(font_path="C:/Windows/Fonts/msyh.ttc",background_color="white",width=1000,height=880,stopwords={'漫威','惊奇队长','电影','就是','没有','一个','什么','还是','不是','可以','真的','角色','剧情','这个'}).generate(text)plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

同样需要注意的是停用词。
在未启用停用词前会有大量的干扰，例如漫威、电影、惊奇队长等与分析无关的词。在不断调整停用词后，就能得到一个比较有参考意义的词云。
之后生成的词云就比较有参考意义。