亦菲喊你来学机器学习(18) --TF-IDF方法

2024-09-01 21:52
文章标签 学习 方法 机器 18 tf idf 来学

本文主要是介绍亦菲喊你来学机器学习(18) --TF-IDF方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • TF-IDF
    • 词频TF
    • 逆文档频率IDF
    • 计算TF-IDF值
  • 应用
  • 实验使用TF-IDF
    • 1. 收集数据
    • 2. 数据预处理
    • 3. 构建TF-IDF模型对象
    • 4. 转化稀疏矩阵
    • 5. 排序取值
    • 完整代码展示
  • jieba分词
  • 总结

TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法,用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。

比如我们常用的百度软件,是如何做到输入搜索词就可以在数不清的文档中取出我们需要的呢?就是因为,他对每一篇文章都计算了文章内容单词的TF-IDF值,找出哪些词对文章是重要的,可以作为搜索词,定位到文章。

词频TF

TF(Term Frequency,词频),词频是指某个词在文档中出现的次数。对于某一特定文件里的词语t来说,它的重要性可以简单地通过它在该文件中出现的次数来衡量。但是,这种简单的统计方法有两个问题:

  1. 它没有考虑到文件长度。较长的文件可能会包含更多的词,因此单纯的词频统计会使得长文件中的词看起来更重要。
  2. 它没有考虑到词的重要性与它在语料库中出现的频率成反比这一事实。一些常用的词(如“的”,“是”,“在”等)可能在很多文档中频繁出现,但它们对文档的主题可能没有太大贡献。

在这里插入图片描述

逆文档频率IDF

IDF(Inverse Document Frequency,逆文档频率),逆文档频率是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。如果包含词条t的文档越少,IDF越大,则说明词条具有很好的类别区分能力。

在这里插入图片描述

计算TF-IDF值

在这里插入图片描述

应用

TF-IDF在文本挖掘和信息检索领域有着广泛的应用。例如,在搜索引擎中,搜索引擎可以根据用户输入的查询词,计算每个网页中这些查询词的TF-IDF值,然后根据这些值对网页进行排序,将最相关的网页排在前面。此外,TF-IDF还可以用于文本分类、文本聚类、关键词提取等任务中。

实验使用TF-IDF

目标:计算给予数据中,每篇文章名字中适合搜索的单词。

1. 收集数据

链接: 实验数据
提取码: 9unj

2. 数据预处理

读取文本内容:

inFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据,存在列表中

3. 构建TF-IDF模型对象

from sklearn.feature_extraction.text import TfidfVectorizervectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
print(tfidf)
----------------(0, 1)	0.4489258246711445(0, 3)	0.620513986496383(0, 10)	0.3876833588747892(0, 5)	0.3876833588747892………………		…………

注意:拟合完之后会有一串数据(tfidf),其中列如"(0, 1) 0.4489258246711445"表示,在第1篇中,第2个词的TF-IDF值。但是!!值得注意的是,这里的第2个词并不是指在那篇文章中的第2个单词,而是在文本中所有单词中的第2个。那么,我们怎么知道文本中有多少词呢?

我们看看下一行get_feature_names_out()方法:

# get_feature_names_out()方法:获取特征名称,所有的单词
# 上述所说的第几个词,表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)
--------------------
['and' 'document' 'final' 'first' 'has' 'is' 'line' 'one' 'second''several' 'the' 'third' 'this' 'words']

4. 转化稀疏矩阵

由于获得的tfidf数据观察起来有些困难,所以将其转化为稀疏矩阵(以wordlist为索引):

df = pd.DataFrame(tfidf.T.todense(),index=wordlist)

在这里插入图片描述

得到每篇文章,对应每个单词的TF-IDF值,没有该单词的为0。

5. 排序取值

步骤:获取矩阵中的每一列 —> 将每一篇的对所有单词的TF-IDF值给取出存入字典中 —> sorted方法排序(以TF-IDF值为基准)

for i in range(0,6):# 获取矩阵中的每一列featyrelist = df.iloc[:,i].to_list()# 将每一篇的对所有单词的TF-IDF值给取出存入字典中resdict = {}for j in range(0,len(wordlist)):resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容# resdict.items()获取字典中键值对所有内容,返回的是元组# key:以key为基准排序,lambda x: x[1]表示取返回元组中的第二个值,即TF-IDF值# reverse:排序方式,True表示降序resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)print(resdict)

输出显示:

[('first', 0.620513986496383), ('document', 0.4489258246711445), ('is', 0.3876833588747892), ('the', 0.3876833588747892), ('this', 0.3359035918367382), ('and', 0.0), ('final', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('second', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('document', 0.670678043970947), ('second', 0.5652488019730092), ('is', 0.28959206902465257), ('the', 0.28959206902465257), ('this', 0.25091357141339277), ('and', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('and', 0.5183362513321061), ('one', 0.5183362513321061), ('third', 0.5183362513321061), ('is', 0.2655575154689396), ('the', 0.2655575154689396), ('this', 0.23008912103979834), ('document', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('second', 0.0), ('several', 0.0), ('words', 0.0)]
………………多余不展示

这样我们就知道了每篇文章对应每个单词的权重大小。

完整代码展示

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pdinFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据,存在列表中vectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
# 拟合完之后会有一串数据,表示,在第几篇中,第几个词的TF-IDF值
# 但是!!值得注意的是,这里的第几个词并不是指在那篇文章中的第几个,而是在文本中所有单词中的第几个
# 那么,我们怎么知道文本中有多少词呢?我们看看下一行get_feature_names_out()方法
print(tfidf)# get_feature_names_out()方法:获取特征名称,所有的单词
# 上述所说的第几个词,表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)# 由于获得的tfidf数据观察起来有些困难,所以将其转化为稀疏矩阵(以wordlist为索引)
df = pd.DataFrame(tfidf.T.todense(),index=wordlist)
# print(df)words = []
for i in range(0,6):# 获取矩阵中的每一列featyrelist = df.iloc[:,i].to_list()# 将每一篇的对所有单词的TF-IDF值给取出存入字典中resdict = {}for j in range(0,len(wordlist)):resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容# resdict.items()获取字典中键值对所有内容,返回的是元组# key:以key为基准排序,lambda x: x[1]表示取返回元组中的第二个值,即TF-IDF值# reverse:排序方式,True表示降序resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)words.append(resdict[0][0])	#获取TF-IDF值最高的单词print(resdict)
print('每篇文章对应的搜索单词为:',words)

jieba分词

但是,注意咯,我们实验使用的数据是英文的,它本身每个单词之间就已经被空格分开了。那假如我们要处理中文文章呢?所有单词都在一句话中连在一起,我们怎么得到每个单词呢?更别提得到每个单词的TF-IDF值了。

所以在这里,我们需要实验jieba库方法,对中文进行分词,库本身包含了中文大部分词海,他会判断哪些字比较适合合在一起作为一个单词,进行划分,从而起到分词作用。该方法我们下期介绍并尝试实验使用它!

总结

本篇介绍了:

  1. 什么是TF-IDF值?它有什么作用?
  2. 如何计算TF-IDF值
  3. 使用TF-IDF对象得到文章单词权重
  4. 下期介绍,使用jieba库进行中文分词

这篇关于亦菲喊你来学机器学习(18) --TF-IDF方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1128143

相关文章

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中,并且长按图标也不会出现删除符号,下面解决这个问... 在 MACOS 上,Launchpad(也就是「启动台」)是一个便捷的 App 启动工具。但有时候,应

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域

mss32.dll文件丢失怎么办? 电脑提示mss32.dll丢失的多种修复方法

《mss32.dll文件丢失怎么办?电脑提示mss32.dll丢失的多种修复方法》最近,很多电脑用户可能遇到了mss32.dll文件丢失的问题,导致一些应用程序无法正常启动,那么,如何修复这个问题呢... 在电脑常年累月的使用过程中,偶尔会遇到一些问题令人头疼。像是某个程序尝试运行时,系统突然弹出一个错误提

电脑提示找不到openal32.dll文件怎么办? openal32.dll丢失完美修复方法

《电脑提示找不到openal32.dll文件怎么办?openal32.dll丢失完美修复方法》openal32.dll是一种重要的系统文件,当它丢失时,会给我们的电脑带来很大的困扰,很多人都曾经遇到... 在使用电脑过程中,我们常常会遇到一些.dll文件丢失的问题,而openal32.dll的丢失是其中比较

python中字符串拼接的几种方法及优缺点对比详解

《python中字符串拼接的几种方法及优缺点对比详解》在Python中,字符串拼接是常见的操作,Python提供了多种方法来拼接字符串,每种方法有其优缺点和适用场景,以下是几种常见的字符串拼接方法,需... 目录1. 使用 + 运算符示例:优缺点:2. 使用&nbsjsp;join() 方法示例:优缺点:3