2018“达观杯” TF-IDF实践

2023-10-12 22:48
文章标签 实践 tf 2018 idf 达观

本文主要是介绍2018“达观杯” TF-IDF实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

TF-IDF(term frequency–inverse document frequency)

TF-IDF是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随著它在文件中出现的次数成正比增加,但同时会随著它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用,作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外,因特网上的搜寻引擎还会使用基于连结分析的评级方法,以确定文件在搜寻结果中出现的顺序。

在文本挖掘中,要对文本库分词,而分词后需要对个每个分词计算它的权重,而这个权重可以使用TF-IDF计算。

TF(term frequency)

TF就是分词出现的频率:该分词在该文档中出现的频率,算法是:(该分词在该文档出现的次数)/ (该文档分词的总数),这个值越大表示这个词越重要,即权重就越大。

例如:一篇文档分词后,总共有500个分词,而分词”Hello”出现的次数是20次,则TF值是: tf =20/500=2/50=0.04

IDF(inversedocument frequency)

IDF逆向文件频率,一个文档库中,一个分词出现在的文档数越少越能和其它文档区别开来。算法是:log((总文档数/出现该分词的文档数)+0.01) ;(注加上0.01是为了防止log计算返回值为0)。

例如:一个文档库中总共有50篇文档,2篇文档中出现过“Hello”分词,则idf是: Idf = log(50/2 + 0.01) = log(25.01)=1.39811369 TF-IDF结合计算就是 tfidf,比如上面的“Hello”分词例子中: TF-IDF = tf idf = (20/500)* log(50/2 + 0.01)= 0.04*1.39811369=0.0559245476


sklearn-API

Examples:

from sklearn.feature_extraction.text import TfidfVectorizer
corpus = ['This is the first document.','This document is the second document.','And this is the third one.','Is this the first document?',
]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names())
print(X.shape)
print(X)
OUTPUT:
['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this']
(4, 9)(0, 8)	0.38408524091481483(0, 3)	0.38408524091481483(0, 6)	0.38408524091481483(0, 2)	0.5802858236844359(0, 1)	0.46979138557992045(1, 8)	0.281088674033753(1, 3)	0.281088674033753(1, 6)	0.281088674033753(1, 1)	0.6876235979836938(1, 5)	0.5386476208856763(2, 8)	0.267103787642168(2, 3)	0.267103787642168(2, 6)	0.267103787642168(2, 0)	0.511848512707169(2, 7)	0.511848512707169(2, 4)	0.511848512707169(3, 8)	0.38408524091481483(3, 3)	0.38408524091481483(3, 6)	0.38408524091481483(3, 2)	0.5802858236844359(3, 1)	0.46979138557992045

Task2.1

代码示例:将属性 “article” 转化为 tf-idf 特征矩阵,调用的sklearn接口,我只读取了训练集前500条数据进行尝试以高效地进行代码测试。

train_data = pd.read_csv('../dataSet/train_set.csv', encoding='utf-8', nrows=500, usecols=[1])
train_data['article_list'] = train_data['article'].map(lambda index: index.split(' '))
train_data['length'] = train_data['article_list'].map(lambda index: len(index))
print(train_data['length'].max())# calc length of set[all words]
temp = set([])
train_data['max_name'] = train_data['article_list'].map(lambda index: set(index))
for i in range(len(train_data)):temp = temp | train_data.loc[i, 'max_name']
print(len(temp))vectorizer = TfidfVectorizer(encoding='utf-8', )
result = vectorizer.fit_transform(train_data['article'])
print(type(result))    # <class 'scipy.sparse.csr.csr_matrix'>
result = result.A      # convert csr_matrix to ndarray matrix
print(result.shape)
print(result)          # features matrix

样例输出:

8453
4484
<class 'scipy.sparse.csr.csr_matrix'>
(500, 4484)
[[0.         0.         0.         ... 0.         0.         0.        ][0.00819422 0.         0.         ... 0.         0.         0.        ][0.00591508 0.         0.         ... 0.         0.         0.        ]...[0.01155529 0.         0.         ... 0.         0.         0.        ][0.03134187 0.         0.         ... 0.         0.         0.0174317 ][0.         0.         0.         ... 0.         0.         0.        ]]

结果分析:

  1. article属性中包含相同的字,即有重复数字。
  2. TfidfVectorizer.fit_transform 输出类型为 ‘scipy.sparse.csr.csr_matrix’
  3. 可通过 ‘.A’ 将 ‘scipy.sparse.csr.csr_matrix’ 转化为 ‘ndarray’ 类型
  4. 最后地输出即为每个样本的 tf-idf 特征值

这篇关于2018“达观杯” TF-IDF实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/198965

相关文章

Spring Retry 实现乐观锁重试实践记录

《SpringRetry实现乐观锁重试实践记录》本文介绍了在秒杀商品SKU表中使用乐观锁和MybatisPlus配置乐观锁的方法,并分析了测试环境和生产环境的隔离级别对乐观锁的影响,通过简单验证,... 目录一、场景分析 二、简单验证 2.1、可重复读 2.2、读已提交 三、最佳实践 3.1、配置重试模板

mac安装nvm(node.js)多版本管理实践步骤

《mac安装nvm(node.js)多版本管理实践步骤》:本文主要介绍mac安装nvm(node.js)多版本管理的相关资料,NVM是一个用于管理多个Node.js版本的命令行工具,它允许开发者在... 目录NVM功能简介MAC安装实践一、下载nvm二、安装nvm三、安装node.js总结NVM功能简介N

Spring Boot 3 整合 Spring Cloud Gateway实践过程

《SpringBoot3整合SpringCloudGateway实践过程》本文介绍了如何使用SpringCloudAlibaba2023.0.0.0版本构建一个微服务网关,包括统一路由、限... 目录引子为什么需要微服务网关实践1.统一路由2.限流防刷3.登录鉴权小结引子当前微服务架构已成为中大型系统的标

Java调用DeepSeek API的最佳实践及详细代码示例

《Java调用DeepSeekAPI的最佳实践及详细代码示例》:本文主要介绍如何使用Java调用DeepSeekAPI,包括获取API密钥、添加HTTP客户端依赖、创建HTTP请求、处理响应、... 目录1. 获取API密钥2. 添加HTTP客户端依赖3. 创建HTTP请求4. 处理响应5. 错误处理6.

golang内存对齐的项目实践

《golang内存对齐的项目实践》本文主要介绍了golang内存对齐的项目实践,内存对齐不仅有助于提高内存访问效率,还确保了与硬件接口的兼容性,是Go语言编程中不可忽视的重要优化手段,下面就来介绍一下... 目录一、结构体中的字段顺序与内存对齐二、内存对齐的原理与规则三、调整结构体字段顺序优化内存对齐四、内

C++实现封装的顺序表的操作与实践

《C++实现封装的顺序表的操作与实践》在程序设计中,顺序表是一种常见的线性数据结构,通常用于存储具有固定顺序的元素,与链表不同,顺序表中的元素是连续存储的,因此访问速度较快,但插入和删除操作的效率可能... 目录一、顺序表的基本概念二、顺序表类的设计1. 顺序表类的成员变量2. 构造函数和析构函数三、顺序表

python实现简易SSL的项目实践

《python实现简易SSL的项目实践》本文主要介绍了python实现简易SSL的项目实践,包括CA.py、server.py和client.py三个模块,文中通过示例代码介绍的非常详细,对大家的学习... 目录运行环境运行前准备程序实现与流程说明运行截图代码CA.pyclient.pyserver.py参

使用C++实现单链表的操作与实践

《使用C++实现单链表的操作与实践》在程序设计中,链表是一种常见的数据结构,特别是在动态数据管理、频繁插入和删除元素的场景中,链表相比于数组,具有更高的灵活性和高效性,尤其是在需要频繁修改数据结构的应... 目录一、单链表的基本概念二、单链表类的设计1. 节点的定义2. 链表的类定义三、单链表的操作实现四、

Spring Boot统一异常拦截实践指南(最新推荐)

《SpringBoot统一异常拦截实践指南(最新推荐)》本文介绍了SpringBoot中统一异常处理的重要性及实现方案,包括使用`@ControllerAdvice`和`@ExceptionHand... 目录Spring Boot统一异常拦截实践指南一、为什么需要统一异常处理二、核心实现方案1. 基础组件

SpringBoot项目中Maven剔除无用Jar引用的最佳实践

《SpringBoot项目中Maven剔除无用Jar引用的最佳实践》在SpringBoot项目开发中,Maven是最常用的构建工具之一,通过Maven,我们可以轻松地管理项目所需的依赖,而,... 目录1、引言2、Maven 依赖管理的基础概念2.1 什么是 Maven 依赖2.2 Maven 的依赖传递机