亦菲喊你来学机器学习(18) --TF-IDF方法

2024-09-01 21:52
文章标签 学习 方法 机器 18 tf idf 来学

本文主要是介绍亦菲喊你来学机器学习(18) --TF-IDF方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • TF-IDF
    • 词频TF
    • 逆文档频率IDF
    • 计算TF-IDF值
  • 应用
  • 实验使用TF-IDF
    • 1. 收集数据
    • 2. 数据预处理
    • 3. 构建TF-IDF模型对象
    • 4. 转化稀疏矩阵
    • 5. 排序取值
    • 完整代码展示
  • jieba分词
  • 总结

TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法,用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。

比如我们常用的百度软件,是如何做到输入搜索词就可以在数不清的文档中取出我们需要的呢?就是因为,他对每一篇文章都计算了文章内容单词的TF-IDF值,找出哪些词对文章是重要的,可以作为搜索词,定位到文章。

词频TF

TF(Term Frequency,词频),词频是指某个词在文档中出现的次数。对于某一特定文件里的词语t来说,它的重要性可以简单地通过它在该文件中出现的次数来衡量。但是,这种简单的统计方法有两个问题:

  1. 它没有考虑到文件长度。较长的文件可能会包含更多的词,因此单纯的词频统计会使得长文件中的词看起来更重要。
  2. 它没有考虑到词的重要性与它在语料库中出现的频率成反比这一事实。一些常用的词(如“的”,“是”,“在”等)可能在很多文档中频繁出现,但它们对文档的主题可能没有太大贡献。

在这里插入图片描述

逆文档频率IDF

IDF(Inverse Document Frequency,逆文档频率),逆文档频率是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。如果包含词条t的文档越少,IDF越大,则说明词条具有很好的类别区分能力。

在这里插入图片描述

计算TF-IDF值

在这里插入图片描述

应用

TF-IDF在文本挖掘和信息检索领域有着广泛的应用。例如,在搜索引擎中,搜索引擎可以根据用户输入的查询词,计算每个网页中这些查询词的TF-IDF值,然后根据这些值对网页进行排序,将最相关的网页排在前面。此外,TF-IDF还可以用于文本分类、文本聚类、关键词提取等任务中。

实验使用TF-IDF

目标:计算给予数据中,每篇文章名字中适合搜索的单词。

1. 收集数据

链接: 实验数据
提取码: 9unj

2. 数据预处理

读取文本内容:

inFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据,存在列表中

3. 构建TF-IDF模型对象

from sklearn.feature_extraction.text import TfidfVectorizervectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
print(tfidf)
----------------(0, 1)	0.4489258246711445(0, 3)	0.620513986496383(0, 10)	0.3876833588747892(0, 5)	0.3876833588747892………………		…………

注意:拟合完之后会有一串数据(tfidf),其中列如"(0, 1) 0.4489258246711445"表示,在第1篇中,第2个词的TF-IDF值。但是!!值得注意的是,这里的第2个词并不是指在那篇文章中的第2个单词,而是在文本中所有单词中的第2个。那么,我们怎么知道文本中有多少词呢?

我们看看下一行get_feature_names_out()方法:

# get_feature_names_out()方法:获取特征名称,所有的单词
# 上述所说的第几个词,表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)
--------------------
['and' 'document' 'final' 'first' 'has' 'is' 'line' 'one' 'second''several' 'the' 'third' 'this' 'words']

4. 转化稀疏矩阵

由于获得的tfidf数据观察起来有些困难,所以将其转化为稀疏矩阵(以wordlist为索引):

df = pd.DataFrame(tfidf.T.todense(),index=wordlist)

在这里插入图片描述

得到每篇文章,对应每个单词的TF-IDF值,没有该单词的为0。

5. 排序取值

步骤:获取矩阵中的每一列 —> 将每一篇的对所有单词的TF-IDF值给取出存入字典中 —> sorted方法排序(以TF-IDF值为基准)

for i in range(0,6):# 获取矩阵中的每一列featyrelist = df.iloc[:,i].to_list()# 将每一篇的对所有单词的TF-IDF值给取出存入字典中resdict = {}for j in range(0,len(wordlist)):resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容# resdict.items()获取字典中键值对所有内容,返回的是元组# key:以key为基准排序,lambda x: x[1]表示取返回元组中的第二个值,即TF-IDF值# reverse:排序方式,True表示降序resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)print(resdict)

输出显示:

[('first', 0.620513986496383), ('document', 0.4489258246711445), ('is', 0.3876833588747892), ('the', 0.3876833588747892), ('this', 0.3359035918367382), ('and', 0.0), ('final', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('second', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('document', 0.670678043970947), ('second', 0.5652488019730092), ('is', 0.28959206902465257), ('the', 0.28959206902465257), ('this', 0.25091357141339277), ('and', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('and', 0.5183362513321061), ('one', 0.5183362513321061), ('third', 0.5183362513321061), ('is', 0.2655575154689396), ('the', 0.2655575154689396), ('this', 0.23008912103979834), ('document', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('second', 0.0), ('several', 0.0), ('words', 0.0)]
………………多余不展示

这样我们就知道了每篇文章对应每个单词的权重大小。

完整代码展示

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pdinFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据,存在列表中vectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
# 拟合完之后会有一串数据,表示,在第几篇中,第几个词的TF-IDF值
# 但是!!值得注意的是,这里的第几个词并不是指在那篇文章中的第几个,而是在文本中所有单词中的第几个
# 那么,我们怎么知道文本中有多少词呢?我们看看下一行get_feature_names_out()方法
print(tfidf)# get_feature_names_out()方法:获取特征名称,所有的单词
# 上述所说的第几个词,表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)# 由于获得的tfidf数据观察起来有些困难,所以将其转化为稀疏矩阵(以wordlist为索引)
df = pd.DataFrame(tfidf.T.todense(),index=wordlist)
# print(df)words = []
for i in range(0,6):# 获取矩阵中的每一列featyrelist = df.iloc[:,i].to_list()# 将每一篇的对所有单词的TF-IDF值给取出存入字典中resdict = {}for j in range(0,len(wordlist)):resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容# resdict.items()获取字典中键值对所有内容,返回的是元组# key:以key为基准排序,lambda x: x[1]表示取返回元组中的第二个值,即TF-IDF值# reverse:排序方式,True表示降序resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)words.append(resdict[0][0])	#获取TF-IDF值最高的单词print(resdict)
print('每篇文章对应的搜索单词为:',words)

jieba分词

但是,注意咯,我们实验使用的数据是英文的,它本身每个单词之间就已经被空格分开了。那假如我们要处理中文文章呢?所有单词都在一句话中连在一起,我们怎么得到每个单词呢?更别提得到每个单词的TF-IDF值了。

所以在这里,我们需要实验jieba库方法,对中文进行分词,库本身包含了中文大部分词海,他会判断哪些字比较适合合在一起作为一个单词,进行划分,从而起到分词作用。该方法我们下期介绍并尝试实验使用它!

总结

本篇介绍了:

  1. 什么是TF-IDF值?它有什么作用?
  2. 如何计算TF-IDF值
  3. 使用TF-IDF对象得到文章单词权重
  4. 下期介绍,使用jieba库进行中文分词

这篇关于亦菲喊你来学机器学习(18) --TF-IDF方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1128143

相关文章

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》:本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法,简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局,详细内容请阅读本文,希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》:本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过

基于Python实现读取嵌套压缩包下文件的方法

《基于Python实现读取嵌套压缩包下文件的方法》工作中遇到的问题,需要用Python实现嵌套压缩包下文件读取,本文给大家介绍了详细的解决方法,并有相关的代码示例供大家参考,需要的朋友可以参考下... 目录思路完整代码代码优化思路打开外层zip压缩包并遍历文件:使用with zipfile.ZipFil

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化

C++中初始化二维数组的几种常见方法

《C++中初始化二维数组的几种常见方法》本文详细介绍了在C++中初始化二维数组的不同方式,包括静态初始化、循环、全部为零、部分初始化、std::array和std::vector,以及std::vec... 目录1. 静态初始化2. 使用循环初始化3. 全部初始化为零4. 部分初始化5. 使用 std::a