提取文档关键词——tfidf、textrank

2024-03-12 17:38
文章标签 提取 文档 关键词 textrank tfidf

本文主要是介绍提取文档关键词——tfidf、textrank，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本文介绍的是提取文本关键词的方法，包括tfidf以及textrank

1 tfidf

tfidf内容原理比较简单，先简单讲一下，有空再细化
tfidf分为tf和idf，其中tf指的是词频，idf指的是逆文档频率。tf词频，顾名思义，就是某个词在文档中的出现次数。而idf逆文档频率，则是某个词在多少篇文档中出现过

公式
在这里插入图片描述
在这里插入图片描述
P.S. 分母的加1，起到的是平滑的作用，避免出现某个词在每篇文章里都没出现过，导致分母为0的情况

在这里插入图片描述

举个例子
假设有100篇文章，其中“”健康状况“仅在一篇文章中出现过，而且在这篇文章里出现了很多次，那么我们认为这个词在这篇文章里的重要性很高。
又如”的“这个字，可能在每篇文章里，都出现了很多次，但我们并不能认为这个词很重要，因为我们不仅要考虑在文章里的出现次数tf，还要考虑在多少篇文章里出现过idf。idf越大，说明这个词是非常常见的，并不是某篇文章所特有的，那么它的重要性就不高

2 textrank

2.1 pagerank

textrank来源于pagerank，所以我们先介绍下pagerank。pagerank的目的是用来计算各个网页的重要性，或者也可以理解为影响力，这与我们想要计算的文档内的关键词（重要性）有些类似之处

以下视频讲的非常清晰，很不错，关于pagerank的部分内容是来自于他的视频。https://www.bilibili.com/video/BV1m4411P76G?p=3&spm_id_from=pageDriver

2.1.1 常规情况

在这里插入图片描述
在这里插入图片描述
结合上图，我们来解释下这个公式，PR值代表的是网址的重要性，ABCD分别代表几个网址，箭头代表它们之间的链接流向关系。
计算过程：
以网址A为例，你可以从网址C和D，进入网址A，同时可以从网址A进入网址B和C，其它以此类推。那么，PR(A)=PR©/2+PR(D)/1，因为C可以去到A和D两个网址，所以除以2，而D只能去到A这一个网址，所以除以1。同理，PR(B)=PR(A)/2，PR©=PR(A)/2+PR(B)/1，PR(D)=PR©/2。接下来，就是不断的循环，PR值就可以得到不断的更新，最终会逐渐稳定， 收敛。另外要注意的是，一开始要对ABCD的PR值做初始化，这里有4个网址，一般是各初始化为1/4
多次迭代的结果如下：
在这里插入图片描述
另外，我们可以将上述的网址流向图，用转移矩阵来表示。
下图的44矩阵即为转移矩阵，第一列表示的是A向其它网址的转移概率，以此类推。用转移矩阵初始化状态，得到第一轮结果。然后再用转移矩阵*第一轮结果，得到第二轮结果，以此类推。用转移矩阵计算出来的结果，与我们上面计算的结果，也都是一致的
在这里插入图片描述

2.1.2 deadends

所谓deadends，就是有网址，只进不出，最终网址的权重会变为0
在这里插入图片描述
在这里插入图片描述
以矩阵形式表示
在这里插入图片描述
解决方法：teleport
即对转移矩阵进行修正，公式如下
在这里插入图片描述
其实我们可以抛开公式，直观上进行理解。B没有出口，那么我们就强行假设B有出口，而且B的出口是其他所有网址，包括它自己。所以我们就可以把转移矩阵中B的那一列，给平均分，B->A是1/3，B->B是1/3，B->C是1/3，就有了如下更新后的转移矩阵。
在这里插入图片描述
下图是经过修正后的结果
在这里插入图片描述

2.1.3 spidertraps

所谓spidertraps，就是有网址，不断的指向自己，同时不指向其他网址，最终这个网址的权重会无限接近于1
在这里插入图片描述
在这里插入图片描述
以矩阵形式表示
在这里插入图片描述

解决方法：random teleport
即对转移矩阵进行修正，公式如下
在这里插入图片描述
我们可以这样理解，只有β的可能性下，遵守上面的转移矩阵。而有1-β的可能性下，每个网址都可能跳到包括自己在内的其他网址，且是等比例的可能性（β一般是0.85）
在这里插入图片描述

下图是经过修正后的结果
在这里插入图片描述

P.S 其实好像通过这种方法，A的权重也在不断上升？？只是没有上升那么快？？

2.1.4 最终的修正公式

在这里插入图片描述

2.1.5 deadends与spidertraps的区别

deadend的修正，只对没有出口的B的概率有影响
spodertraps的修正，对整个转移矩阵都有影响

2.2 textrank

2.2.1 公式介绍

textrank和pagerank其实很类似，我们对比下它们的公式
pagerank
在这里插入图片描述
textrank
在这里插入图片描述
d：类似于pagerank里的β，阻尼系数
WS：类似于pagerank里的PR，指的是词语的重要性
ω那一坨：类似pagerank里的1/L，都是出链占比

2.2.2 原理介绍

1.先对句子进行分词，确定并进行词性的筛选
2.span有点类似于窗口的意思，这里的窗口大小是5。对分词后的句子，窗口从左向右移动。每个窗口，都记录下第一个词，与后面的词共同出现的次数（窗口大小还是要考虑过滤掉的词，共同出现的词则不考虑过滤掉的词）
3.将各个span的词的共同出现次数，都加和到一起（注意，这里只考虑了单向的）
在这里插入图片描述
4.考虑到词与词的共现是双向的， 例如“听写”和“提高”出现在同一个窗口中，那么不仅“听写”和“提高”要算一次，“提高”和“听写”也要算一次
在这里插入图片描述
然后把词与词间的关系，转化成指向图的形式，可以更直观的加以理解
在这里插入图片描述
5.根据上图，计算出各个词的权重

6.进行排序，输出权重为topK的关键词

2.2.3 实战应用

import jieba
import jieba.analyse
sentence = '听写是听写提高英文综合水平最快的方法'
keywords = jieba.analyse.textrank(sentence, topK=4, withWeight=True, allowPOS=('ns', 'n', 'vn', 'v'))
keywords

参数：
topK # 输入几个关键词
withWeight=True # 是否要输出关键词的权重
allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’) # 关键词的词性

[('听写', 1.0),('综合', 0.7342942849328459),('水平', 0.732403185587655),('提高', 0.6964543229955287)]

2.2.4 源码解读

源码位置：…\site-packages\jieba\analyse

import jieba
import jieba.analyse
import sys
from collections import defaultdict
from operator import itemgetter
sentence = '听写是听写提高英文综合水平最快的方法'

# 基本参数
# 允许作为关键词的词性
allowPOS = ('ns', 'n', 'vn', 'v')
pos_filt = frozenset(allowPOS)
# 
withFlag = False
# 是否要返回词对应的权重
withWeight = True
# 窗口大小为5
span = 5
# 选取权重最大的4个词
topK = 4
# 英文停用词（在个例子里没用上）
stop_words = set(("the", "of", "is", "and", "to", "in", "that", "we", "for", "an", "are","by", "be", "as", "on", "with", "can", "if", "from", "which", "you", "it","this", "then", "at", "have", "all", "not", "one", "has", "or", "that"))

# 定义一个无向有权图的类
class UndirectWeightedGraph:# 与pagerank一样，d一般取0.85d = 0.85def __init__(self):self.graph = defaultdict(list)def addEdge(self, start, end, weight):# use a tuple (start, end, weight) instead of a Edge objectself.graph[start].append((start, end, weight))self.graph[end].append((end, start, weight))def rank(self):ws = defaultdict(float)outSum = defaultdict(float)wsdef = 1.0 / (len(self.graph) or 1.0)for n, out in self.graph.items():ws[n] = wsdefoutSum[n] = sum((e[2] for e in out), 0.0)# this line for build stable iterationsorted_keys = sorted(self.graph.keys())for x in range(10):  # 10 itersfor n in sorted_keys:s = 0for e in self.graph[n]:s += e[2] / outSum[e[1]] * ws[e[1]]ws[n] = (1 - self.d) + self.d * s(min_rank, max_rank) = (sys.float_info[0], sys.float_info[3])# for w in itervalues(ws):for w in ws.values():if w < min_rank:min_rank = wif w > max_rank:max_rank = wfor n, w in ws.items():# to unify the weights, don't *100.ws[n] = (w - min_rank / 10.0) / (max_rank - min_rank / 10.0)return ws

# 用于筛选词性、词长度、非停用词
def pairfilter(wp):return (wp.flag in pos_filt and len(wp.word.strip()) >= 2and wp.word.lower() not in stop_words)

# 2.2.2原理介绍第1点的操作
# jieba分词，以及对应的词性
words = tuple(jieba.posseg.dt.cut(sentence))
words
# (pair('听写', 'v'),
#  pair('是', 'v'),
#  pair('听写', 'v'),
#  pair('提高', 'v'),
#  pair('英文', 'nz'),
#  pair('综合', 'vn'),
#  pair('水平', 'n'),
#  pair('最快', 'd'),
#  pair('的', 'uj'),
#  pair('方法', 'n'))

# 初始化cm，cm用于统计共同出现的词的次数
cm = defaultdict(int)
cm
# defaultdict(int, {})# 2.2.2原理介绍第3点的操作（第2点体现在pairfilter这个函数里）
# 统计共同出现的词的次数
for i, wp in enumerate(words):if pairfilter(wp):for j in range(i + 1, i + span):if j >= len(words):breakif not pairfilter(words[j]):continueif allowPOS and withFlag:cm[(wp, words[j])] += 1else:cm[(wp.word, words[j].word)] += 1
cm
# defaultdict(int,
#             {('听写', '听写'): 1,
#              ('听写', '提高'): 2,
#              ('听写', '综合'): 1,
#              ('听写', '水平'): 1,
#              ('提高', '综合'): 1,
#              ('提高', '水平'): 1,
#              ('综合', '水平'): 1,
#              ('综合', '方法'): 1,
#              ('水平', '方法'): 1})

# 无向有权图的实例化
g = UndirectWeightedGraph()
# UndirectWeightedGraph的__init__定义了一个daultdict
g.graph
# defaultdict(list, {})

# 2.2.2原理介绍第4点的操作
# cm展示的只是单向的共现次数，这一步是把单向的转为双向的
for terms, w in cm.items():g.addEdge(terms[0], terms[1], w)
g.graph   
# defaultdict(list,
#             {'听写': [('听写', '听写', 1),
#               ('听写', '听写', 1),
#               ('听写', '提高', 2),
#               ('听写', '综合', 1),
#               ('听写', '水平', 1)],
#              '提高': [('提高', '听写', 2), ('提高', '综合', 1), ('提高', '水平', 1)],
#              '综合': [('综合', '听写', 1),
#               ('综合', '提高', 1),
#               ('综合', '水平', 1),
#               ('综合', '方法', 1)],
#              '水平': [('水平', '听写', 1),
#               ('水平', '提高', 1),
#               ('水平', '综合', 1),
#               ('水平', '方法', 1)],
#              '方法': [('方法', '综合', 1), ('方法', '水平', 1)]}) 

# 2.2.2原理介绍第5点的操作
# 计算词的权重
nodes_rank = g.rank()
nodes_rank
# defaultdict(float,
#             {'听写': 1.0,
#              '提高': 0.6964543229955287,
#              '综合': 0.7342942849328459,
#              '水平': 0.732403185587655,
#              '方法': 0.40051227004952517})

因为上面的rank函数比较长，我们还是仔细分析下它是怎么实现的

# 对初始的权重进行初始化，都是一共有5个不同的词：听写、提高、综合、水平、方法，所以每个词都初始化为1/5
ws = defaultdict(float)
outSum = defaultdict(float)
wsdef = 1.0 / (len(g.graph) or 1.0)
wsdef
# 0.2# outSum指的是每个词的出链数，和pagerank的L很像
for n, out in g.graph.items():ws[n] = wsdefoutSum[n] = sum((e[2] for e in out), 0.0)
print('ws：',ws)
print('outSum：',outSum)     
# ws： defaultdict(<class 'float'>, {'听写': 0.2, '提高': 0.2, '综合': 0.2, '水平': 0.2, '方法': 0.2})
# outSum： defaultdict(<class 'float'>, {'听写': 6.0, '提高': 4.0, '综合': 4.0, '水平': 4.0, '方法': 2.0})# 计算权重，不断迭代10次
# this line for build stable iteration
d = 0.85
sorted_keys = sorted(g.graph.keys())
for x in range(10):  # 10 itersfor n in sorted_keys:s = 0for e in g.graph[n]:s += e[2] / outSum[e[1]] * ws[e[1]]ws[n] = (1 - d) + d * s
ws        
# defaultdict(float,
#             {'听写': 1.3149571181120283,
#              '提高': 0.9328134822499848,
#              '综合': 0.9804514548223787,
#              '水平': 0.978070687661801,
#              '方法': 0.5602422987849102})# python3里的最大浮点数，最小浮点数
(min_rank, max_rank) = (sys.float_info[0], sys.float_info[3])
print(min_rank, max_rank)
# 1.7976931348623157e+308 2.2250738585072014e-308# 寻找ws里的最大值、最小值
# for w in itervalues(ws):
for w in ws.values():if w < min_rank:min_rank = wif w > max_rank:max_rank = w
print(min_rank, max_rank)        
# 0.5602422987849102 1.3149571181120283# 把ws里的值进行缩放，压到0-1之间
for n, w in ws.items():# to unify the weights, don't *100.ws[n] = (w - min_rank / 10.0) / (max_rank - min_rank / 10.0)
ws
# defaultdict(float,
#            {'听写': 1.0,
#             '提高': 0.6964543229955287,
#             '综合': 0.7342942849328459,
#             '水平': 0.732403185587655,
#             '方法': 0.40051227004952517})

# 2.2.2原理介绍第6点的操作
# 对关键词的重要性进行排序
if withWeight:tags = sorted(nodes_rank.items(), key=itemgetter(1), reverse=True)
else:tags = sorted(nodes_rank, key=nodes_rank.__getitem__, reverse=True)
if topK:print(tags[:topK])
else:print(tags)
# [('听写', 1.0), ('综合', 0.7342942849328459), ('水平', 0.732403185587655), ('提高', 0.6964543229955287)]

2.2.5 pagerank和textrank的区别

pagerank：，比如A网址指向B网址，可以是单向，也可以是双向
textrank：所有词之间的关系都是双向的，只要它们处于同一个窗口中

3 tfidf与textrank的区别

1.tfidf需要多篇文章来计算文章里的关键词，而textrank只需要一个句子，就可以计算其中的关键词
2.tfidf在应用时，可以计算出tfidf的矩阵作为X，然后再结合标签y进行有监督学习。而textrank，则是一种无监督学习

4 参考

pagerank介绍：https://www.bilibili.com/video/BV1m4411P76G?p=3&spm_id_from=pageDriver
textrank介绍：https://www.bilibili.com/video/av883388038?p=36
textrank介绍：https://www.bilibili.com/video/BV1P54y1Q7kJ?p=14
textrank介绍：https://zhuanlan.zhihu.com/p/41091116

这篇关于提取文档关键词——tfidf、textrank的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/802048。

相关文章

使用C#代码在PDF文档中添加、删除和替换图片

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当
阅读更多...
详解C#如何提取PDF文档中的图片

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片，如艺术画作、设计素材、报告图表等，提取图片可以将这些图像资源进行单独保存，方便后续在不同的项目中使
阅读更多...
Python实现常用文本内容提取

Python实现常用文本内容提取

《Python实现常用文本内容提取》在日常工作和学习中,我们经常需要从PDF、Word文档中提取文本,本文将介绍如何使用Python编写一个文本内容提取工具,有需要的小伙伴可以参考下... 目录一、引言二、文本内容提取的原理三、文本内容提取的设计四、文本内容提取的实现五、完整代码示例一、引言在日常工作和学
阅读更多...
C++字符串提取和分割的多种方法

C++字符串提取和分割的多种方法

《C++字符串提取和分割的多种方法》在C++编程中,字符串处理是一个常见的任务,尤其是在需要从字符串中提取特定数据时,本文将详细探讨如何使用C++标准库中的工具来提取和分割字符串,并分析不同方法的适用... 目录1. 字符串提取的基本方法1.1 使用 std::istringstream 和 >> 操作符示
阅读更多...
Python实现合并与拆分多个PDF文档中的指定页

Python实现合并与拆分多个PDF文档中的指定页

《Python实现合并与拆分多个PDF文档中的指定页》这篇文章主要为大家详细介绍了如何使用Python实现将多个PDF文档中的指定页合并生成新的PDF以及拆分PDF,感兴趣的小伙伴可以参考一下... 安装所需要的库pip install PyPDF2 -i https://pypi.tuna.tsingh
阅读更多...
基于Python开发批量提取Excel图片的小工具

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求，就是批量读取当前目录下所有文件夹里的Excel文件，去获取出Excel文件中的图片，并
阅读更多...
详解如何使用Python提取视频文件中的音频

详解如何使用Python提取视频文件中的音频

《详解如何使用Python提取视频文件中的音频》在多媒体处理中,有时我们需要从视频文件中提取音频,本文为大家整理了几种使用Python编程语言提取视频文件中的音频的方法,大家可以根据需要进行选择... 目录引言代码部分方法扩展引言在多媒体处理中，有时我们需要从视频文件中提取音频，以便进一步处理或分析。本文
阅读更多...
Python批量调整Word文档中的字体、段落间距及格式

Python批量调整Word文档中的字体、段落间距及格式

《Python批量调整Word文档中的字体、段落间距及格式》这篇文章主要为大家详细介绍了如何使用Python的docx库来批量处理Word文档,包括设置首行缩进、字体、字号、行间距、段落对齐方式等,需... 目录关键代码一级标题设置  正文设置完整代码运行结果最近关于批处理格式的问题我查了很多资料，但是都没
阅读更多...
基于Python实现一个PDF特殊字体提取工具

基于Python实现一个PDF特殊字体提取工具

《基于Python实现一个PDF特殊字体提取工具》在PDF文档处理场景中,我们常常需要针对特定格式的文本内容进行提取分析,本文介绍的PDF特殊字体提取器是一款基于Python开发的桌面应用程序感兴趣的... 目录一、应用背景与功能概述二、技术架构与核心组件2.1 技术选型2.2 系统架构三、核心功能实现解析
阅读更多...
Linux使用cut进行文本提取的操作方法

Linux使用cut进行文本提取的操作方法

《Linux使用cut进行文本提取的操作方法》Linux中的cut命令是一个命令行实用程序,用于从文件或标准输入中提取文本行的部分,本文给大家介绍了Linux使用cut进行文本提取的操作方法,文中有详... 目录简介基础语法常用选项范围选择示例用法-f：字段选择-d：分隔符-c：字符选择-b：字节选择--c
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2