Python实现TF-IDF算法

2024-08-24 06:20
文章标签 python 算法 实现 tf idf

本文主要是介绍Python实现TF-IDF算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

博客目录

  1. 引言

    • 什么是TF-IDF？
    • TF-IDF的应用场景
    • 为什么使用TF-IDF？

  2. TF-IDF的数学原理

    • 词频（Term Frequency, TF）
    • 逆文档频率（Inverse Document Frequency, IDF）
    • TF-IDF的计算公式
    • TF-IDF的特点与优势

  3. TF-IDF的实现步骤

    • 数据预处理
    • 计算词频（TF）
    • 计算逆文档频率（IDF）
    • 计算TF-IDF值
    • 文本向量化

  4. Python实现TF-IDF

    • 使用Python手动实现TF-IDF
    • 使用Scikit-learn实现TF-IDF
    • 代码示例与解释

  5. TF-IDF应用实例：新闻文章关键词提取

    • 场景描述
    • 数据集介绍
    • 使用TF-IDF提取关键词
    • 结果分析与可视化

  6. TF-IDF的优缺点

    • 优点分析
    • 潜在的缺点与局限性
    • 如何改进TF-IDF算法

  7. 总结

    • TF-IDF在文本分析中的作用
    • 何时使用TF-IDF
    • 其他常用的文本表示方法

1. 引言

什么是TF-IDF？

TF-IDF（Term Frequency-Inverse Document Frequency）是一种常用的文本挖掘方法，用于衡量一个词语在文档集合或语料库中的重要性。它结合了词频和逆文档频率两个指标，通过计算每个词语在单篇文档中的频率，以及在整个语料库中出现的频率，来判断该词的权重。TF-IDF在信息检索、文本分类、关键词提取等领域具有广泛的应用。

TF-IDF的应用场景

TF-IDF通常应用于以下场景：

  1. 关键词提取：从文本中提取具有代表性的关键词，以帮助理解文档主题。
  2. 文本分类：作为文本分类算法的特征向量，帮助模型更好地区分不同类别的文档。
  3. 信息检索：在搜索引擎中，利用TF-IDF计算文档与查询的相关性，提高检索结果的准确性。
为什么使用TF-IDF？

在文本分析中，某些词语（如“的”、“是”）在所有文档中出现的频率都很高，但它们对区分不同文档的贡献不大。TF-IDF通过降低这些高频词的权重，并增加在特定文档中频率较高但在其他文档中频率较低的词语的权重，使得文本表示更具代表性和区分度。

2. TF-IDF的数学原理

TF-IDF由词频（TF）和逆文档频率（IDF）两个部分组成。

词频（Term Frequency, TF）

词频（TF）表示一个词语在单篇文档中出现的频率。通常情况下，TF的计算公式如下：

TF ( t , d ) = 词语  t 在文档  d 中出现的次数 文档  d 中的总词数 { \text{TF}(t, d) = \frac{\text{词语 } t \text{ 在文档 } d \text{ 中出现的次数}}{\text{文档 } d \text{ 中的总词数}} } TF(t,d)=文档 d 中的总词数词语 t 在文档 d 中出现的次数​

例如，如果一个词语在一篇包含100个词的文档中出现了5次，则该词的词频TF为0.05。

逆文档频率（Inverse Document Frequency, IDF）

逆文档频率（IDF）用于衡量词语在整个文档集合中的稀有程度。它的计算公式为：

IDF ( t , D ) = log ⁡ ( 文档总数 包含词语  t 的文档数 ) { \text{IDF}(t, D) = \log \left( \frac{\text{文档总数}}{\text{包含词语 } t \text{ 的文档数}} \right) } IDF(t,D)=log(包含词语 t 的文档数文档总数​)

如果一个词语出现在很多文档中，那么它的IDF值就会较低。反之，如果一个词语仅出现在少量文档中，那么它的IDF值就会较高。

TF-IDF的计算公式

TF-IDF通过将词频（TF）与逆文档频率（IDF）相乘来计算每个词语的重要性。计算公式如下：

TF-IDF ( t , d , D ) = TF ( t , d ) × IDF ( t , D ) { \text{TF-IDF}(t, d, D) = \text{TF}(t, d) \times \text{IDF}(t, D) } TF-IDF(t,d,D)=TF(t,d)×IDF(t,D)

TF-IDF的特点与优势

TF-IDF的核心优势在于它能够平衡词语的频率和稀有性，使得在特定文档中频率较高但在整个语料库中频率较低的词语获得更高的权重，从而更好地表示文本的特征。

3. TF-IDF的实现步骤

数据预处理

在计算TF-IDF之前，首先需要对文本数据进行预处理。这包括去除停用词、标点符号、小写化、词干提取等步骤。

import re
import string
from sklearn.feature_extraction.text import ENGLISH_STOP_WORDSdef preprocess_text(text):# 转小写text = text.lower()# 去除标点符号text = re.sub(f"[{re.escape(string.punctuation)}]", "", text)# 去除停用词words = [word for word in text.split() if word not in ENGLISH_STOP_WORDS]return " ".join(words)# 示例文本
documents = ["Natural language processing is fascinating.","Machine learning and artificial intelligence are evolving rapidly.","Natural language processing and machine learning are closely related."
]# 数据预处理
preprocessed_docs = [preprocess_text(doc) for doc in documents]
计算词频（TF）

对于每篇文档，计算每个词语的词频。

from collections import Counterdef compute_tf(text):words = text.split()word_count = Counter(words)total_words = len(words)tf = {word: count / total_words for word, count in word_count.items()}return tf# 计算每篇文档的词频
tf_scores = [compute_tf(doc) for doc in preprocessed_docs]
计算逆文档频率（IDF）

计算每个词语在所有文档中出现的频率，并由此计算逆文档频率。

import mathdef compute_idf(documents):num_docs = len(documents)idf_scores = {}all_words = set(word for doc in documents for word in doc.split())for word in all_words:containing_docs = sum(1 for doc in documents if word in doc)idf_scores[word] = math.log(num_docs / (1 + containing_docs))return idf_scores# 计算IDF值
idf_scores = compute_idf(preprocessed_docs)
计算TF-IDF值

结合词频和逆文档频率，计算每个词语的TF-IDF值。

def compute_tf_idf(tf_scores, idf_scores):tf_idf_scores = []for doc_tf in tf_scores:doc_tf_idf = {word: tf * idf_scores.get(word, 0) for word, tf in doc_tf.items()}tf_idf_scores.append(doc_tf_idf)return tf_idf_scores# 计算TF-IDF
tf_idf_scores = compute_tf_idf(tf_scores, idf_scores)
文本向量化

将每篇文档表示为一个TF-IDF向量。

import numpy as npdef vectorize_documents(tf_idf_scores, idf_scores):all_words = list(idf_scores.keys())vectors = []for doc_tf_idf in tf_idf_scores:vector = np.array([doc_tf_idf.get(word, 0) for word in all_words])vectors.append(vector)return np.array(vectors)# 文本向量化
document_vectors = vectorize_documents(tf_idf_scores, idf_scores)
print("文档向量：\n", document_vectors)

4. Python实现TF-IDF

使用Python手动实现TF-IDF

上述代码已展示了如何手动实现TF-IDF计算。这种方式有助于理解TF-IDF的基本原理和计算过程。

使用Scikit-learn实现TF-IDF

Scikit-learn提供了更加高效的TF-IDF实现，并支持大规模文本数据处理。

from sklearn.feature_extraction.text import TfidfVectorizer# 初始化TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer()# 计算TF-IDF矩阵
tfidf_matrix = tfidf_vectorizer.fit_transform(preprocessed_docs)# 获取TF-IDF特征名称
feature_names = tfidf_vectorizer.get_feature_names_out()# 转换为数组形式
tfidf_array = tfidf_matrix.toarray()print("特征名称：\n", feature_names)
print("TF-IDF矩阵：\n", tfidf_array)

通过Scikit-learn，我们可以快速计算并得到文本的TF-IDF表示。

5. TF-IDF应用实例：新闻文章关键词提取

场景描述

假设我们有一组新闻文章，希望从中提取出每篇文章的关键词。我们可以使用TF-IDF来衡量每个词语在文档中的重要性，从而识别出最有代表性的关键词。

数据集介绍

我们使用一个简单的新闻文章数据集，包含三篇文章。每篇文章的内容如下：

documents = ["Economic growth in the region is slowing down due to external factors.","The latest smartphone features advanced AI capabilities.","New advancements in AI and machine learning are revolutionizing industries."
]
使用TF-IDF提取关键词

我们首先对文本数据进行预处理，然后计算每篇文档的TF-IDF值，最后根据TF-IDF值提取出前几个关键词。

# 数据预处理
preprocessed_docs = [preprocess_text(doc) for doc in documents]# 计算TF-IDF矩阵
tfidf_matrix = tfidf_vectorizer.fit_transform(preprocessed_docs)# 获取特征名称
feature_names = tfidf_vectorizer.get_feature_names_out()# 提取每篇文档的关键词
def extract_keywords(tfidf_matrix, feature_names, top_n=3):keywords = []for row in tfidf_matrix:row_data = row.toarray().flatten()top_indices = row_data.argsort()[-top_n:]top_keywords = [feature_names[i] for i in top_indices]keywords.append(top_keywords)return keywords# 提取关键词
keywords = extract_keywords(tfidf_matrix, feature_names)
print("提取的关键词：\n", keywords)
结果分析与可视化

通过上述代码，我们提取出了每篇新闻文章的关键词。可以发现，这些关键词准确地反映了文章的主题。

# 可视化关键词
for i, kw in enumerate(keywords):print(f"文章 {i+1} 的关键词：", ", ".join(kw))

6. TF-IDF的优缺点

优点分析
  1. 高效计算：TF-IDF计算简单高效，适合大规模文本数据处理。
  2. 词语权重调整：TF-IDF能够有效调整词语的权重，突出文本的核心内容。
  3. 应用广泛：TF-IDF被广泛应用于信息检索、文本分类、关键词提取等领域。
潜在的缺点与局限性
  1. 忽略词序：TF-IDF只考虑词频，不考虑词语在文本中的位置和顺序，可能会丢失一些上下文信息。
  2. 不适合短文本：对于短文本，TF-IDF的效果可能不够理想，因为词频和文档频率的统计意义不大。
  3. 无法处理同义词：TF-IDF无法识别和处理同义词，可能会导致特征冗余。
如何改进TF-IDF算法
  1. 引入词向量：结合词向量技术（如Word2Vec、GloVe）来捕捉词语之间的语义关系。
  2. 结合语义分析：使用语义分析方法（如LDA）来增强特征表示。
  3. 应用平滑技术：对IDF计算进行平滑处理，减小文档频率为0的影响。

7. 总结

TF-IDF是一种经典的文本特征表示方法，在文本分析和信息检索中具有重要作用。本文通过详细介绍TF-IDF的数学原理，并使用Python实现了从数据预处理到TF-IDF计算的完整过程，最后通过一个新闻文章关键词提取的案例，展示了TF-IDF的实际应用。

尽管TF-IDF在某些场景下有其局限性，但其简单高效的特点使得它依然是文本分析中的一项重要工具。在实践中，我们可以结合其他技术来弥补TF-IDF的不足，从而更好地处理文本数据。

希望这篇博客能够帮助你理解和掌握TF-IDF算法，并在实际项目中得心应手地应用这一技术。

这篇关于Python实现TF-IDF算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1101693。

相关文章

不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
康拓展开（hash算法中会用到）

康拓展开（hash算法中会用到）

康拓展开是一个全排列到一个自然数的双射（也就是某个全排列与某个自然数一一对应） 公式： X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。（a[i]在不同应用中的含义不同）； 典型应用： 计算当前排列在所有由小到大全排列中的顺序，也就是说求当前排列是第
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

前言：快速排序的实现最重要的是找基准值，下面让我们来了解如何实现找基准值 基准值的注释：在快排的过程中，每一次我们要取一个元素作为枢纽值，以这个数字来将序列划分为两部分。 在此我们采用三数取中法，也就是取左端、中间、右端三个数，然后进行排序，将中间数作为枢纽值。 快速排序实现主框架： //快速排序 void QuickSort(int* arr, int left, int rig
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2