jieba+wordcloud分析豆瓣惊奇队长影评

2024-01-22 13:50

本文主要是介绍jieba+wordcloud分析豆瓣惊奇队长影评,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

复联三过后或许你还惊魂未定就被惊奇队长里的噬元兽吓到恐猫,whatever,本文将会介绍如何从豆瓣爬取惊奇队长的短评并加工处理生成词云。

爬取评论

首先还是爬取评论,老规矩用requests和BeautifulSoup就行。通过查看网页源码容易发现所有的短评都放在span标签中且class为short,这样就很方便了,用find_all就完事了。

# -*- coding:utf-8 -*-
import requests
import time
import random
from bs4 import BeautifulSoupurls = []
for i in range(0, 500, 20):urls.append('https://movie.douban.com/subject/26213252/comments?start=' + str(i) + '&limit=20&sort=new_score&status=P')  # 评论的翻页def singlepage_comment(url):# 得到单页的评论headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko)''Chrome/65.0.3325.162 Safari/537.36'}html = requests.get(url, headers)html.encoding = 'utf-8'soup = BeautifulSoup(html.text, 'lxml')fk = []for comment in soup.find_all(name='span', class_='short'):fk.append(comment.text)return fk# singlepage_comment('https://movie.douban.com/subject/26213252/comments?start=40&limit=20&sort=new_score&status=P')def store_comment(fk):# f = open('comments.txt', mode='w', encoding='utf-8')for comment in fk:f.write(comment)f.write('\n\n')# f.close()f = open('comments.txt', mode='w', encoding='utf-8')
for url in urls:comments = singlepage_comment(url)#print(comments)store_comment(comments)time.sleep(random.randrange(1, 3))  # 反爬f.close()

分词

分词这个部分使用jieba
具体的使用可以参考 https://github.com/fxsjy/jieba
安装使用的话 pip3 install jieba
ps. 若此处遇到安装错误的情况可能是pip版本太旧导致,运行python -m pip intsall --upgrade pip即可。

#-*- coding:utf-8 -*-
import jiebaf = open('comments.txt', mode='r', encoding='utf-8')comments = f.readlines()#sentence = "1.第一次看电影片头就有人鼓掌,Thank You Stan;2.漫威还是比DC会选角,神奇女侠完全是物化女性审美,惊奇队长是真女权,没有任何爱情戏,是女人就靠自己;3.铲屎官噩梦。"jieba.load_userdict('dict.txt')for comment in comments:seg_list = jieba.cut(comment)print("Full Mode: " + "/ ".join(seg_list))

对于这样一个语境,使用默认的字典分词会得到一些奇怪的结果,例如

Full Mode: 1/ ./ 第一次/ 看/ 电影片/ 头/ 就/ 有人/ 鼓掌/ ,/ Thank/  / You/  / Stan/ ;/ 2/ ./ 漫威/ 还是/ 比/ DC/ 会选角/ ,/ 神奇/ 女侠/ 完全/ 是/ 物化/ 女性/ 审美/ ,/ 惊奇/ 队长/ 是/ 真/ 女权/ ,/ 没有/ 任何/ 爱情/ 戏/ ,/ 是/ 女人/ 就/ 靠/ 自己/ ;/ 3/ ./ 铲/ 屎/ 官/ 噩梦/ 。

可见jieba并不能识别出例如惊奇队长、漫威、铲屎官、噬元兽等角色名以及一些简写、网络语言等,因此需要手动添加用户词典,这里我添加了一些常见的名词。
ps.这个列表可以通过查看分词的结果逐步加以调整

惊奇队长
漫威
DC
神奇女侠
美国队长
铲屎官
噬元兽
复联4
咕咕
尼克费瑞
寇森
美队
斯坦李
银河护卫队

添加用户词典后,分词的准确性和有效性就大为增长。

生成词云

这一步相对就较为简单了。
同样先安装wordcloud库pip3 install wordcloud
还需要用到matplotlib 这是一个画图的库

#-*- coding:utf-8 -*-
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import jiebaf = open('comments.txt', mode='r', encoding='utf-8')
comments = f.readlines()
jieba.load_userdict('dict.txt')text = ''
for comment in comments:text += ' '.join(jieba.cut(comment))wordcloud = WordCloud(font_path="C:/Windows/Fonts/msyh.ttc",background_color="white",width=1000,height=880,stopwords={'漫威','惊奇队长','电影','就是','没有','一个','什么','还是','不是','可以','真的','角色','剧情','这个'}).generate(text)plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.show()

同样需要注意的是停用词。未启用停用词前
在未启用停用词前会有大量的干扰,例如漫威、电影、惊奇队长等与分析无关的词。在不断调整停用词后,就能得到一个比较有参考意义的词云。启用停用词后
之后生成的词云就比较有参考意义。

这篇关于jieba+wordcloud分析豆瓣惊奇队长影评的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/633174

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

MOLE 2.5 分析分子通道和孔隙

软件介绍 生物大分子通道和孔隙在生物学中发挥着重要作用,例如在分子识别和酶底物特异性方面。 我们介绍了一种名为 MOLE 2.5 的高级软件工具,该工具旨在分析分子通道和孔隙。 与其他可用软件工具的基准测试表明,MOLE 2.5 相比更快、更强大、功能更丰富。作为一项新功能,MOLE 2.5 可以估算已识别通道的物理化学性质。 软件下载 https://pan.quark.cn/s/57

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境,如果是隔离环境,无法连接互联网时,请先按照 离线环境安装依赖的指导进行依赖包的安装,然后按照本文的指导继续操作。如果网络环境可以连接互联网,请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud

线性因子模型 - 独立分量分析(ICA)篇

序言 线性因子模型是数据分析与机器学习中的一类重要模型,它们通过引入潜变量( latent variables \text{latent variables} latent variables)来更好地表征数据。其中,独立分量分析( ICA \text{ICA} ICA)作为线性因子模型的一种,以其独特的视角和广泛的应用领域而备受关注。 ICA \text{ICA} ICA旨在将观察到的复杂信号

【软考】希尔排序算法分析

目录 1. c代码2. 运行截图3. 运行解析 1. c代码 #include <stdio.h>#include <stdlib.h> void shellSort(int data[], int n){// 划分的数组,例如8个数则为[4, 2, 1]int *delta;int k;// i控制delta的轮次int i;// 临时变量,换值int temp;in

三相直流无刷电机(BLDC)控制算法实现:BLDC有感启动算法思路分析

一枚从事路径规划算法、运动控制算法、BLDC/FOC电机控制算法、工控、物联网工程师,爱吃土豆。如有需要技术交流或者需要方案帮助、需求:以下为联系方式—V 方案1:通过霍尔传感器IO中断触发换相 1.1 整体执行思路 霍尔传感器U、V、W三相通过IO+EXIT中断的方式进行霍尔传感器数据的读取。将IO口配置为上升沿+下降沿中断触发的方式。当霍尔传感器信号发生发生信号的变化就会触发中断在中断

kubelet组件的启动流程源码分析

概述 摘要: 本文将总结kubelet的作用以及原理,在有一定基础认识的前提下,通过阅读kubelet源码,对kubelet组件的启动流程进行分析。 正文 kubelet的作用 这里对kubelet的作用做一个简单总结。 节点管理 节点的注册 节点状态更新 容器管理(pod生命周期管理) 监听apiserver的容器事件 容器的创建、删除(CRI) 容器的网络的创建与删除

PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL有什么优点? 开源和免费 PostgreSQL是一个开源的数据库管理系统,可以免费使用和修改。这降低了企业的成本,并为开发者提供了一个活跃的社区和丰富的资源。 高度兼容 PostgreSQL支持多种操作系统(如Linux、Windows、macOS等)和编程语言(如C、C++、Java、Python、Ruby等),并提供了多种接口(如JDBC、ODBC、ADO.NET等