亦菲喊你来学机器学习（18） --TF-IDF方法

2024-09-01 21:52
文章标签 学习 方法 机器 18 tf idf 来学

本文主要是介绍亦菲喊你来学机器学习（18） --TF-IDF方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • TF-IDF
    • 词频TF
    • 逆文档频率IDF
    • 计算TF-IDF值
  • 应用
  • 实验使用TF-IDF
    • 1. 收集数据
    • 2. 数据预处理
    • 3. 构建TF-IDF模型对象
    • 4. 转化稀疏矩阵
    • 5. 排序取值
    • 完整代码展示
  • jieba分词
  • 总结

TF-IDF

TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

比如我们常用的百度软件，是如何做到输入搜索词就可以在数不清的文档中取出我们需要的呢？就是因为，他对每一篇文章都计算了文章内容单词的TF-IDF值，找出哪些词对文章是重要的，可以作为搜索词，定位到文章。

词频TF

TF（Term Frequency，词频），词频是指某个词在文档中出现的次数。对于某一特定文件里的词语t来说，它的重要性可以简单地通过它在该文件中出现的次数来衡量。但是，这种简单的统计方法有两个问题：

  1. 它没有考虑到文件长度。较长的文件可能会包含更多的词，因此单纯的词频统计会使得长文件中的词看起来更重要。
  2. 它没有考虑到词的重要性与它在语料库中出现的频率成反比这一事实。一些常用的词（如“的”，“是”，“在”等）可能在很多文档中频繁出现，但它们对文档的主题可能没有太大贡献。

在这里插入图片描述

逆文档频率IDF

IDF（Inverse Document Frequency，逆文档频率），逆文档频率是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。如果包含词条t的文档越少，IDF越大，则说明词条具有很好的类别区分能力。

在这里插入图片描述

计算TF-IDF值

在这里插入图片描述

应用

TF-IDF在文本挖掘和信息检索领域有着广泛的应用。例如，在搜索引擎中，搜索引擎可以根据用户输入的查询词，计算每个网页中这些查询词的TF-IDF值，然后根据这些值对网页进行排序，将最相关的网页排在前面。此外，TF-IDF还可以用于文本分类、文本聚类、关键词提取等任务中。

实验使用TF-IDF

目标：计算给予数据中，每篇文章名字中适合搜索的单词。

1. 收集数据

链接: 实验数据
提取码: 9unj

2. 数据预处理

读取文本内容：

inFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据，存在列表中

3. 构建TF-IDF模型对象

from sklearn.feature_extraction.text import TfidfVectorizervectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
print(tfidf)
----------------(0, 1)	0.4489258246711445(0, 3)	0.620513986496383(0, 10)	0.3876833588747892(0, 5)	0.3876833588747892………………		…………

注意：拟合完之后会有一串数据（tfidf），其中列如"(0, 1) 0.4489258246711445"表示，在第1篇中，第2个词的TF-IDF值。但是！！值得注意的是，这里的第2个词并不是指在那篇文章中的第2个单词，而是在文本中所有单词中的第2个。那么，我们怎么知道文本中有多少词呢？

我们看看下一行get_feature_names_out()方法:

# get_feature_names_out()方法：获取特征名称，所有的单词
# 上述所说的第几个词，表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)
--------------------
['and' 'document' 'final' 'first' 'has' 'is' 'line' 'one' 'second''several' 'the' 'third' 'this' 'words']

4. 转化稀疏矩阵

由于获得的tfidf数据观察起来有些困难，所以将其转化为稀疏矩阵（以wordlist为索引）：

df = pd.DataFrame(tfidf.T.todense(),index=wordlist)

在这里插入图片描述

得到每篇文章，对应每个单词的TF-IDF值，没有该单词的为0。

5. 排序取值

步骤：获取矩阵中的每一列 —> 将每一篇的对所有单词的TF-IDF值给取出存入字典中 —> sorted方法排序（以TF-IDF值为基准）

for i in range(0,6):# 获取矩阵中的每一列featyrelist = df.iloc[:,i].to_list()# 将每一篇的对所有单词的TF-IDF值给取出存入字典中resdict = {}for j in range(0,len(wordlist)):resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容# resdict.items()获取字典中键值对所有内容，返回的是元组# key：以key为基准排序，lambda x: x[1]表示取返回元组中的第二个值，即TF-IDF值# reverse：排序方式，True表示降序resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)print(resdict)

输出显示：

[('first', 0.620513986496383), ('document', 0.4489258246711445), ('is', 0.3876833588747892), ('the', 0.3876833588747892), ('this', 0.3359035918367382), ('and', 0.0), ('final', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('second', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('document', 0.670678043970947), ('second', 0.5652488019730092), ('is', 0.28959206902465257), ('the', 0.28959206902465257), ('this', 0.25091357141339277), ('and', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('one', 0.0), ('several', 0.0), ('third', 0.0), ('words', 0.0)]
[('and', 0.5183362513321061), ('one', 0.5183362513321061), ('third', 0.5183362513321061), ('is', 0.2655575154689396), ('the', 0.2655575154689396), ('this', 0.23008912103979834), ('document', 0.0), ('final', 0.0), ('first', 0.0), ('has', 0.0), ('line', 0.0), ('second', 0.0), ('several', 0.0), ('words', 0.0)]
………………多余不展示

这样我们就知道了每篇文章对应每个单词的权重大小。

完整代码展示

from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pdinFile = open('task2_1.txt','r')
corpus = inFile.readlines()     #读取所有行数据，存在列表中vectorizer = TfidfVectorizer()  #构建TF-IDF模型对象
tfidf = vectorizer.fit_transform(corpus)    #fit_transform()拟合并调整数据的分布或范围
# 拟合完之后会有一串数据，表示，在第几篇中，第几个词的TF-IDF值
# 但是！！值得注意的是，这里的第几个词并不是指在那篇文章中的第几个，而是在文本中所有单词中的第几个
# 那么，我们怎么知道文本中有多少词呢？我们看看下一行get_feature_names_out()方法
print(tfidf)# get_feature_names_out()方法：获取特征名称，所有的单词
# 上述所说的第几个词，表示在这里面的索引获取的值
wordlist = vectorizer.get_feature_names_out()
print(wordlist)# 由于获得的tfidf数据观察起来有些困难，所以将其转化为稀疏矩阵（以wordlist为索引）
df = pd.DataFrame(tfidf.T.todense(),index=wordlist)
# print(df)words = []
for i in range(0,6):# 获取矩阵中的每一列featyrelist = df.iloc[:,i].to_list()# 将每一篇的对所有单词的TF-IDF值给取出存入字典中resdict = {}for j in range(0,len(wordlist)):resdict[wordlist[j]] = featyrelist[j]   #给字典创建键值对内容# resdict.items()获取字典中键值对所有内容，返回的是元组# key：以key为基准排序，lambda x: x[1]表示取返回元组中的第二个值，即TF-IDF值# reverse：排序方式，True表示降序resdict = sorted(resdict.items(),key=lambda x: x[1],reverse=True)words.append(resdict[0][0])	#获取TF-IDF值最高的单词print(resdict)
print('每篇文章对应的搜索单词为：',words)

jieba分词

但是，注意咯，我们实验使用的数据是英文的，它本身每个单词之间就已经被空格分开了。那假如我们要处理中文文章呢？所有单词都在一句话中连在一起，我们怎么得到每个单词呢？更别提得到每个单词的TF-IDF值了。

所以在这里，我们需要实验jieba库方法，对中文进行分词，库本身包含了中文大部分词海，他会判断哪些字比较适合合在一起作为一个单词，进行划分，从而起到分词作用。该方法我们下期介绍并尝试实验使用它！

总结

本篇介绍了：

  1. 什么是TF-IDF值？它有什么作用？
  2. 如何计算TF-IDF值
  3. 使用TF-IDF对象得到文章单词权重
  4. 下期介绍，使用jieba库进行中文分词

这篇关于亦菲喊你来学机器学习（18） --TF-IDF方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1128143。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
浅谈主机加固，六种有效的主机加固方法

浅谈主机加固，六种有效的主机加固方法

在数字化时代，数据的价值不言而喻，但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露，企业的数据安全面临着前所未有的挑战。为了应对这些挑战，一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案，采用先进的安全容器中间件技术，构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限，即使在管理员权限被恶意利用的情况下，也能确保服务器的安全稳定运行。 普适主机加固措施：
阅读更多...
webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？这几种方法超多人在用！

webm怎么转换成mp4？WebM作为一种新兴的视频编码格式，近年来逐渐进入大众视野，其背后承载着诸多优势，但同时也伴随着不容忽视的局限性，首要挑战在于其兼容性边界，尽管WebM已广泛适应于众多网站与软件平台，但在特定应用环境或老旧设备上，其兼容难题依旧凸显，为用户体验带来不便，再者，WebM格式的非普适性也体现在编辑流程上，由于它并非行业内的通用标准，编辑过程中可能会遭遇格式不兼容的障碍，导致操
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

透彻！驯服大型语言模型（LLMs）的五种方法，及具体方法选择思路

引言 随着时间的发展，大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用，随着人们期望的不断增加，目标也发生了巨大的变化。在短短的几个月的时间里，人们对大模型的认识已经从对其zero-shot能力感到惊讶，转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构（例如Transformer）对海量的、多种多样的数据分布进行建模得到，它包含了大量的先验
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2