使用python读取word统计词频并生成词云

2024-04-28 20:18

本文主要是介绍使用python读取word统计词频并生成词云,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、准备

需要用到python-docx,jieba和wordcloud模块,先install

pip3 install jieba
pip install wordcloud

2、开始代码

(1)导入需要用到的模块

import re
import jieba
import docx
from wordcloud import WordCloud
import matplotlib.pyplot as plt

(2)读取word文档的文本内容

此模块主要使用到了python-docx,官方文档地址:

注意是import docx 而不是python-docx,我们主要处理获取了表格中的文本信息和正常段落中的文本信息。

#输入参数path为word文档所在路径
def readFile(path):file=docx.Document(path)# 读取每一段的内容article = ' 'for para in file.paragraphs:if para != '/n':article = article + '' + para.text# file.paragraphs只能读取到文档中正常段落中的文本信息,却无法读取到文档中表格里的内容,所以我们还需要继续将表格中的内容也读取出来进行合并# 获取文档中表格信息tables = file.tables  # 获取文档中所有表格对象的列表for i in range(len(tables)):table0 = tables[i]  # 获取表格对象# 获取一个表格的所有单元格cells = table0._cells# 获取单元格内所有文字信息cells_string = [cell.text.replace('\n', ' ').replace('\r', ' ') for cell in cells]# print(cells_string)for i in range(len(cells_string)):article = article + cells_string[i].strip()return article

(3)使用jieba进行分词

结巴分词分为三种模式:精确模式(默认)、全模式和搜索引擎模式

精确模式:试图将句子最精确地切开,适合文本分析;

全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;

搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

def wordFrequency(a):# print(article)# print(len(article))# 全模式 cut_all=True# seq_list=jieba.cut(article,cut_all=True)# print(seq_list) #<generator object Tokenizer.cut at 0x0000026EB6F0CD58># print('全模式',list(seq_list))# 精确模式 (默认模式) cut_all =False# seq_list=jieba.cut(article,cut_all=False)# print('精确模式',list(seq_list))# 搜索引擎模式 cut_for_searchseq_list = jieba.cut_for_search(article, )# print('搜索引擎模式',list(seq_list))#通过符号将字符串分割开articleSplit = re.split(" |,|\.|,|。|;|;|、|:|:|:", article)sep_list = " ".join(articleSplit)  # 转为字符串# print(sep_list)articleSplit = seq_listd = {}#需要忽略的符号集合fuhao = [',', '.', ' ', ':', ':', ',', '。', '[', ']', ';', ';', '(', ')', '(', ')', '!', '!']#统计词频for key in articleSplit:if key in d.keys():d[key] = d[key] + 1else:if (len(key.strip()) == 0 or key in fuhao):continued[key] = 1wordlist = ''for key in d:# print(key,d[key])wordlist = wordlist + ' ' + key# print(wordlist)#根据词频进行排序sort_words = sorted(d.items(), key=lambda x: x[1], reverse=True)print(sort_words)return wordlist

(4)词云绘制

def wordcloudGenerate(wordlist):wc = WordCloud(background_color='white',max_words=2000,width=800,height=600,relative_scaling=1,max_font_size=80,random_state=40,font_path="simhei.ttf")# 生成词云wc.generate(wordlist)# 在只设置mask的情况下,你将会得到一个拥有图片形状的词云plt.rcParams['savefig.dpi'] = 300  # 图片像素plt.rcParams['figure.dpi'] = 300  # 分辨率plt.imshow(wc, interpolation='bilinear')plt.axis("off")plt.show()

(5)运行程序

#获取文档对象
path = "D:\\Users\\ASUS-BOOK\\Desktop\\蜀道难.docx"
article = readFile(path)
wordlist = wordFrequency(article)
wordcloudGenerate(wordlist)

在这里插入图片描述

(6)效果图

在这里插入图片描述

这篇关于使用python读取word统计词频并生成词云的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/944165

相关文章

Python将博客内容html导出为Markdown格式

《Python将博客内容html导出为Markdown格式》Python将博客内容html导出为Markdown格式,通过博客url地址抓取文章,分析并提取出文章标题和内容,将内容构建成html,再转... 目录一、为什么要搞?二、准备如何搞?三、说搞咱就搞!抓取文章提取内容构建html转存markdown

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.