【传知代码】私人订制词云图-论文复现

2024-05-28 03:36

本文主要是介绍【传知代码】私人订制词云图-论文复现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 概述
  • 原理介绍
  • 核心逻辑
    • 1、选取需要解析的txt文档
    • 2、选取背景图明确形状
    • 3、配置停用词
    • 4、创建分词词典,主要解决新的网络热词、专有名词等不识别问题
  • 技巧
    • 1、中文乱码问题,使用的时候指定使用的文字字体
    • 2、更换背景图
    • 3、词库下载以及格式转换方式
    • 4、jieba的快速说明
    • 5、支持自定义文字颜色
  • 环境配置/部署方式
  • 小结

本文涉及的源码可从私人订制词云图该文章下方附件获取

概述

词云图(Word Cloud)是一种文本数据的可视化表示方法,它通过将文本中每个单词的大小与其在文本中出现的频率或重要性相关联,从而以视觉方式展示文本数据的关键信息。词云图在数据分析、文本挖掘、社交媒体分析等领域中广泛应用,因为它能够直观地展示大量文本数据中的主题、关键词或情感倾向。

在这里插入图片描述

在这里插入图片描述

原理介绍

词云图(Word Cloud)的原理可以清晰地分为以下几个步骤,这些步骤共同协作,以生成一种可视化的文本数据表示方式:

  1. 分词
    • 词云图的第一步是将输入的文本数据划分为一个个单独的词语。这个过程通常被称为分词,它涉及到将连续的文本字符串拆分成单独的词汇单元。
  2. 统计词频
    • 在分词完成后,词云图生成工具会统计每个词语在文本中出现的次数。这个步骤是确定词语在词云图中重要性的关键,因为词频高的词语通常会被视为更重要或更相关的。
  3. 去除停用词
    • 停用词是指那些出现频率高但通常不带有实际意义的词语,如“的”、“了”等。为了提高词云图的质量,这些词语通常会被从词频统计中去除,以便更准确地反映文本的主题。
  4. 去除重复词语
    • 如果文本中存在多个相同的词语,词云图生成工具通常只会计算它们的一次出现。这是为了确保词频统计的准确性,避免重复计数。
  5. 计算权重
    • 根据词语在文本中出现的频率,词云图生成工具会计算每个词语的权重。这个过程可能会使用到不同的算法,如TF-IDF(词频逆文档频率)算法,以更准确地反映词语在文本中的重要性。
  6. 显示词云
    • 在计算完词语的权重后,词云图生成工具会将这些词语按照其权重进行排列和分布,形成词云图。在这个过程中,词语的大小、颜色等视觉元素通常会被用来表示其权重,即出现频率高或重要性大的词语会显得更大、更突出。

核心逻辑

以python为例,主要使用的库

import wordcloud #词云库
import jieba #分词工具

1、选取需要解析的txt文档

text_file_path = "./《山海经》先秦白话文版.txt"

也可以从解析某个网站数据(本文是以txt文本为例,没有采取下面代码方式)

# 从网站获取文本内容
url = "https://baidu.com"
response = requests.get(url)
response.encoding = 'utf-8'  # 设置编码,确保正确处理中文字符
html_content = response.text# 使用BeautifulSoup解析HTML,提取文本内容
soup = BeautifulSoup(html_content, "html.parser")
text_data = soup.get_text()

2、选取背景图明确形状

background_image_path = "./心.png" # 地图.png

3、配置停用词

# 设置停用词
#wordcloud库允你排除一些词汇,这样它们就不会出现在词云图中。你可以使用 stopwords 参数来指定要排除的词汇。
def load_stopwords(file_path):with open(file_path, "r", encoding="gb18030") as file:return set(file.read().splitlines())stopwords_path = "./stopwords.txt"
stopwords = load_stopwords(stopwords_path)
# 添加额外的停用词
stopwords.update(["注释", "译文", "这座", "名称", "很多", "名曰", "之山", "一种"])

4、创建分词词典,主要解决新的网络热词、专有名词等不识别问题

# 加载词典(分词的时候不拆开,比如‘山海经’不应该被拆成‘山’、‘海’、‘经’等)
# 主要用于定义一些专有名词
jieba.load_userdict('山海经异兽_22个.txt')
jieba.add_word('山海经')
jieba.add_word('先秦')

技巧

所有技巧(坑)都在演示视频里面逐一演示,注意避坑。

1、中文乱码问题,使用的时候指定使用的文字字体

font_path = ("./simsun.ttc") #指定字体,否则可能会中文乱码

2、更换背景图

需要选择透明背景色的,有的白底的图,肉眼看起来没问题,但是程序却认为整张图片是一个形状,比如下面的图就不行(出来的词云图是外框矩形):

而这张图就可以:

在这里插入图片描述

3、词库下载以及格式转换方式

词库搜索下载地址

在这里插入图片描述

现在下来后的格式是.scel的,需要转换成txt
转换地址

在这里插入图片描述

4、jieba的快速说明

# -*- coding: utf-8 -*-
import jiebaseg_str = "好好学习,天天向上。"print("/".join(jieba.lcut(seg_str))) # 精简模式,返回一个列表类型的结果
print("/".join(jieba.lcut(seg_str, cut_all=True))) # 全模式,使用 'cut_all=True' 指定 
print("/".join(jieba.lcut_for_search(seg_str))) # 搜索引擎模式

结果:

好好学习/,/天天向上/。
好好/好好学/好好学习/好学/学习/,/天天/天天向上/向上/。
好好/好学/学习/好好学/好好学习/,/天天/向上/天天向上/。

5、支持自定义文字颜色

colormaps = mpl.colormaps['tab10'] # tab20
# 也支持自定义文字颜色
# colormaps = colors.ListedColormap(['#FF0000','#FF7F50','#FFE4C4'])

环境配置/部署方式

python wordsCloud.py

小结

词云图的一些主要特点:

  1. 可视化效果:词云图以图像的形式呈现文本数据,使得人们能够直观地看到文本中的主要词汇和它们之间的关系。通过颜色、大小、字体等视觉元素,词云图能够突出显示重要的词汇,帮助用户快速理解文本的核心内容。
  2. 频率或重要性表示:在词云图中,每个单词的大小通常与其在文本中出现的频率或重要性成正比。这意味着出现频率高或重要性大的词汇在词云图中会显得更大、更突出。这种表示方式有助于用户快速识别文本中的关键信息。
  3. 自定义程度高:词云图具有很高的自定义程度,用户可以根据需要调整词汇的颜色、大小、字体等属性,以及选择特定的词汇过滤条件,从而生成符合自己需求的词云图。
  4. 支持多种文本数据源:词云图可以处理来自各种文本数据源的数据,包括社交媒体帖子、新闻报道、用户评论、书籍、文章等。这使得词云图在各个领域都有广泛的应用前景。
  5. 揭示文本主题:通过词云图,用户可以快速了解文本的主题和关键词。例如,在社交媒体分析中,词云图可以帮助用户了解用户讨论的热点话题和关键词;在新闻报道分析中,词云图可以帮助用户了解新闻的主要内容和情感倾向。
  6. 局限性:虽然词云图具有很多优点,但也存在一些局限性。例如,词云图通常只能展示文本中的词汇信息,而无法展示词汇之间的语法关系或上下文信息。此外,词云图对于某些特定的文本数据可能不太适用,例如诗歌、散文等文学作品。

词云图是一种非常有用的文本数据可视化工具,它能够帮助用户快速了解文本的主要内容和关键词,揭示文本的主题和情感倾向。在实际应用中,用户可以根据需要选择合适的词云图生成工具和数据源,以生成符合自己需求的词云图。
在这里插入图片描述

这篇关于【传知代码】私人订制词云图-论文复现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1009427

相关文章

活用c4d官方开发文档查询代码

当你问AI助手比如豆包,如何用python禁止掉xpresso标签时候,它会提示到 这时候要用到两个东西。https://developers.maxon.net/论坛搜索和开发文档 比如这里我就在官方找到正确的id描述 然后我就把参数标签换过来

poj 1258 Agri-Net(最小生成树模板代码)

感觉用这题来当模板更适合。 题意就是给你邻接矩阵求最小生成树啦。~ prim代码:效率很高。172k...0ms。 #include<stdio.h>#include<algorithm>using namespace std;const int MaxN = 101;const int INF = 0x3f3f3f3f;int g[MaxN][MaxN];int n

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者:计算机编程-吉哥 🍊简介:专业从事JavaWeb程序开发,微信小程序开发,定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事,生活就是快乐的。 🍊心愿:点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能

代码随想录冲冲冲 Day39 动态规划Part7

198. 打家劫舍 dp数组的意义是在第i位的时候偷的最大钱数是多少 如果nums的size为0 总价值当然就是0 如果nums的size为1 总价值是nums[0] 遍历顺序就是从小到大遍历 之后是递推公式 对于dp[i]的最大价值来说有两种可能 1.偷第i个 那么最大价值就是dp[i-2]+nums[i] 2.不偷第i个 那么价值就是dp[i-1] 之后取这两个的最大值就是d

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

D4代码AC集

贪心问题解决的步骤: (局部贪心能导致全局贪心)    1.确定贪心策略    2.验证贪心策略是否正确 排队接水 #include<bits/stdc++.h>using namespace std;int main(){int w,n,a[32000];cin>>w>>n;for(int i=1;i<=n;i++){cin>>a[i];}sort(a+1,a+n+1);int i=1

论文阅读笔记: Segment Anything

文章目录 Segment Anything摘要引言任务模型数据引擎数据集负责任的人工智能 Segment Anything Model图像编码器提示编码器mask解码器解决歧义损失和训练 Segment Anything 论文地址: https://arxiv.org/abs/2304.02643 代码地址:https://github.com/facebookresear

论文翻译:ICLR-2024 PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS

PROVING TEST SET CONTAMINATION IN BLACK BOX LANGUAGE MODELS https://openreview.net/forum?id=KS8mIvetg2 验证测试集污染在黑盒语言模型中 文章目录 验证测试集污染在黑盒语言模型中摘要1 引言 摘要 大型语言模型是在大量互联网数据上训练的,这引发了人们的担忧和猜测,即它们可能已