本文主要是介绍我爬了《流浪地球》十万个短评得出以下结论,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
前言
最近大家讨论最多的就是《流浪地球》了,偶尔刷逼乎,狗血的事情也是层出不穷,各种撕逼大战,有兴趣的小伙伴可以自行搜索。
截止目前,《流浪地球》已上映20天,累计票房43.94亿,豆瓣评分7.9分。博主是正月初七看的,票价有点小贵,整体效果还算可以,虽然剧情有点尴尬,各种镜头切换有时候看的稀里糊涂,但还是给了豆瓣四星好评。
爬取
逼乎上很多高手,对《流浪地球》在豆瓣的评分做了细思缜密的分析,有兴趣的也去自己搜索,这里主要是爬取《流浪地球》的好、中、差短评并分词分析。
爬取数据:
import os
import requests
import codecs
from bs4 import BeautifulSoup# 给请求指定一个请求头来模拟chrome浏览器
global headers
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
server = 'https://movie.douban.com/subject/26266893/comments'
# 定义存储位置
global save_path
save_path = os.getcwd()+"\\Text\\"+'短评_好评.txt'
global page_max
page_max = 25
global comments
comments = ''# 获取短评内容
def get_comments(page):req = requests.get(url=page)html = req.contenthtml_doc = str(html, 'utf-8')bf = BeautifulSoup(html_doc, 'html.parser')comment = bf.find_all(class_="short")for short in comment:global commentscomments = comments + short.text# 写入文件
def write_txt(chapter, content, code):with codecs.open(chapter, 'a', encoding=code)as f:f.write(content)# 主方法
def main():for i in range(0, page_max):try:page = server + '?start='+str(i*20)+'&limit=20&sort=new_score&status=P&percent_type=h'get_comments(page)write_txt(save_path, comments, 'utf8')except Exception as e:print(e)if __name__ == '__main__':main()
最终发现,每个类型只能查询出 500 条短评,后面就看不到了,不知道是否豆瓣有意而为之给隐藏了。
# 好评500条,中评500条,差评500条,自行更换 percent_type 参数即可。
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=h
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=m
# https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P&percent_type=l
分析
使用结巴中文分词第三方库来进行高频分析:
import jieba
import ostxt = open(os.getcwd()+"\\Text\\"+"短评_差评.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)
counts = {}for word in words:if len(word) == 1:continueelse:counts[word] = counts.get(word, 0) + 1items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)for i in range(0, 10):word, count = items[i]print("{0:<6}{1:>6}".format(word, count))
前十好评高频出现词汇:
前十中评高频出现词汇:
前十差评高频出现词汇:
前十高频词汇分析基本没有任何参考价值,基本就是科幻、地球、特效、电影,这些都是电影的基本元素,其它的都是一些中性词汇。
然后,我们分析了11-30的高频词汇,提取了部分关键词:
好评:
结论:国产希望好莱坞科幻煽情大片。大家注意一下,前三十高频词汇只出现了刘慈欣的名字,并没有出现吴京的名字。
中评:
结论:总体来说还算中肯,不知道为啥会出现三星?原谅我没有读过原著,原来是《三体》中"三恒星"系统。
差评:
结论:既然是一星差评,肯定是一黑到底,剧情尴尬、台词尴尬、剪辑尴尬、吴京尴尬,相比于好评中高频出现的原著作者刘慈欣,应该有大部分吴京黑粉。
总结
逼乎上有人做了详细的统计分析,同类评分电影中,小破球的一星占比出奇的高。不管是意识形态还是商业利益,《流浪地球》注定要被美分狗和《战狼》PTSD 患者往死里整。《流浪地球》的评价问题已经不仅仅是一部电影的问题。
有兴趣的小伙伴可以获取源码,自行爬一下:https://gitee.com/52itstyle/Python
转载于:https://blog.51cto.com/itstyle/2354674
这篇关于我爬了《流浪地球》十万个短评得出以下结论的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!