Python抓取电视剧《天盛长歌》豆瓣短评,并制作成词云。

2023-11-10 06:00

本文主要是介绍Python抓取电视剧《天盛长歌》豆瓣短评,并制作成词云。,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近在看《天盛长歌》,才看了30多集,感觉里边的剧情还是很有深度,每个反派都是智商在线,剧情也是环环相扣,以至于每个镜头给了哪些特写我都要细细斟酌一番。不过可能剧情是根据小说改编,所以部分剧情有些老套,而且因为节奏有点慢,剧情过多,光是大皇子领盒饭就用了20集。目前来说不喜欢韶宁公主有关的剧情,不知道她后边的剧情怎么发展,配角选的也是十分用心了,喜欢珠茵姐姐,可惜十几集就领盒饭了,而且还有点不值,兰香院的姑娘们颜值也是在线的!和别的剧比起来,真真是美的各有千秋。

一、抓取数据
首先要抓取豆瓣影评,豆瓣比较奇怪,即使登陆了也只能抓取480条短评,不登陆可以抓200条短评,所以我就抓取了不登陆的200条(还不会用登陆抓取)。
上代码:

#coding=utf-8
import requests
from lxml import etree
import random
import pymysql# 获取网页内容
def geturl(url,IP_pools):USER_AGENTS = ["Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"]Agent_Value = random.choice(USER_AGENTS)headers = {"User-Agent":Agent_Value ,"Host": "movie.douban.com","Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",}try:# 我使用了代理,在代理池中随机获取验证成功的IPip_one = random.choice(IP_pools)print(ip_one)proxies1 = {'http': "http://" + ip_one}print(url)r = requests.get(url=url, headers=headers, proxies=proxies1, timeout=5)print(r.status_code)assert r.status_code == 200return etree.HTML(r.content)except:print("**"*20+"错误!"+"**"*20)
# 从数据库的代理池取出全部验证成功的IP,并存入列表中
def get_IP():con = pymysql.connect(host='192.111.111.111', user='root', passwd='111111', db='databace', port=3306,charset='utf8')if con:print("ok")cur = con.cursor()if cur:sql_read = "select IP,port from ip_pool where score  = %s "cur.execute(sql_read, "T")con.commit()lines = cur.fetchall()a_list = []for i in lines:li = i[0] + ":" + i[1]# print(li)a_list.append(li)return a_listelse:print("打开游标失败!")cur.close()else:print("数据库打开失败!")con.close()IP_pools = get_IP()def TSCG():for i in range(0,220,20):url = "https://movie.douban.com/subject/26761328/comments?start=" + str(i)# 直接获取每页的短评res = geturl(url,IP_pools).xpath('//span[@class="short"]/text()')for a in res:a = a.strip().replace("\n","")with open("output/tianshengchangge_200.txt","a",encoding="utf-8") as fw:fw.write(a + "\n")# 抓取短评
TSCG()

二、处理数据

1、抓到数据后要先制作停止词;停止词的txt文件在下一篇文章里

# 制作停止词
def make_stopdict():stopdict = set()#网上下载来的停止词文本with open("stopwords.txt","r",encoding="utf-8") as fr:lines = fr.readlines()for l in lines:stopdict.add(l.strip())print(type(stopdict))return stopdict

2、去掉停止词,使用了 jieba(停止词就是类似于“的、啊、是”等这类型的词。详情请百度)

import jieba.analyse
import redef removeStopwords():stopdict = make_stopdict()# 使用jieba分词去掉停止词zhongwen_pat = re.compile(r'^[\u4e00-\u9fa5a-zA-Z]+$')all_content = []# 从文件中取出短评内容with open("output/tianshengchangge_200.txt","r",encoding="utf-8") as fr:review = fr.readlines()for t in review: cut_list = [c for c in jieba.cut(t) if zhongwen_pat.search(c)]cut_set = set(cut_list)res_set = cut_set - stopdictres_list = list(res_set)all_content.extend(res_list)for a in res_list:a = a.strip().replace("\n","")with open("output/douban1.txt","a",encoding="utf-8") as fw:fw.write(a + "\n")return("output/douban1.txt")

3、使用jieba分词分析短评中各个词的出现频率

def get_top_keywords():file = "output/douban1.txt"top_word_lists = [] # 关键词列表,待填充with open(file,'r',encoding="utf-8") as f:texts = f.read() # 读取整个文件作为一个字符串result = jieba.analyse.textrank(texts,topK=100,withWeight=True) #保留最高频的100个词keywords = dict()for i in result:keywords[i[0]]=i[1]print(keywords)return keywords

4、制作词云

from wordcloud import WordCloud
import matplotlib.pyplot as plt
# 制作词云
def makeWordcloud():keywords = get_top_keywords()color_mask = imread("output/mark2.jpg")  # 读取背景图片,cloud = WordCloud(# 设置字体,不指定就会出现乱码,文件名不支持中文(选择系统默认就好)font_path="C:/Windows/Fonts/simfang.ttf",# 设置背景色,默认为黑,可根据需要自定义为颜色background_color='white',# 词云背景,mask=color_mask,# 允许最大词汇max_words=100,# 最大号字体,如果不指定则为图像高度max_font_size=80,# 画布宽度和高度,如果设置了msak则不会生效width=600, height=400, margin=2,# 词语水平摆放的频率,默认为0.9.即竖直摆放的频率为0.1prefer_horizontal=0.4)wc = cloud.generate_from_frequencies(keywords)  # 产生词云wc.to_file("output/Wc_tscg4.png")  # 保存图片# 显示词云图片plt.imshow(wc)# 不现实坐标轴plt.axis('off')# 绘制词云plt.show()# 制作词云
makeWordcloud()

5、最终效果
这里写图片描述

这篇关于Python抓取电视剧《天盛长歌》豆瓣短评,并制作成词云。的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/380786

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

nudepy,一个有趣的 Python 库!

更多资料获取 📚 个人网站:ipengtao.com 大家好,今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址:https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中,检测图像中的不适当内容(例如裸露图像)是一个重要的任务。nudepy 是一个基于 Python 的库,专门用于检测图像中的不适当内容。该

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

HTML提交表单给python

python 代码 from flask import Flask, request, render_template, redirect, url_forapp = Flask(__name__)@app.route('/')def form():# 渲染表单页面return render_template('./index.html')@app.route('/submit_form',

用Unity2D制作一个人物,实现移动、跳起、人物静止和动起来时的动画:中(人物移动、跳起、静止动作)

上回我们学到创建一个地形和一个人物,今天我们实现一下人物实现移动和跳起,依次点击,我们准备创建一个C#文件 创建好我们点击进去,就会跳转到我们的Vision Studio,然后输入这些代码 using UnityEngine;public class Move : MonoBehaviour // 定义一个名为Move的类,继承自MonoBehaviour{private Rigidbo

Python QT实现A-star寻路算法

目录 1、界面使用方法 2、注意事项 3、补充说明 用Qt5搭建一个图形化测试寻路算法的测试环境。 1、界面使用方法 设定起点: 鼠标左键双击,设定红色的起点。左键双击设定起点,用红色标记。 设定终点: 鼠标右键双击,设定蓝色的终点。右键双击设定终点,用蓝色标记。 设置障碍点: 鼠标左键或者右键按着不放,拖动可以设置黑色的障碍点。按住左键或右键并拖动,设置一系列黑色障碍点

Python:豆瓣电影商业数据分析-爬取全数据【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】

**爬取豆瓣电影信息,分析近年电影行业的发展情况** 本文是完整的数据分析展现,代码有完整版,包含豆瓣电影爬取的具体方式【附带爬虫豆瓣,数据处理过程,数据分析,可视化,以及完整PPT报告】   最近MBA在学习《商业数据分析》,大实训作业给了数据要进行数据分析,所以先拿豆瓣电影练练手,网络上爬取豆瓣电影TOP250较多,但对于豆瓣电影全数据的爬取教程很少,所以我自己做一版。 目