词袋模型两个代码例子

2024-08-25 00:36

本文主要是介绍词袋模型两个代码例子,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

代码1

import numpy as np
import pandas as pd
texts = ['i have a melon','you have a banana','you and i have a melon and a banana']vocabulary = list(enumerate(set([word for sentencein texts for word in sentence.split()])))
print('Vocabulary:', vocabulary)def vectorize(text):vector = np.zeros(len(vocabulary))for i, word in vocabulary:num = 0for w in text:if w == word:num += 1if num:vector[i] = numreturn vectorprint('Vectors:')
for sentence in texts:print(vectorize(sentence.split()))
Vocabulary: [(0, 'a'), (1, 'have'), (2, 'and'), (3, 'melon'), (4, 'banana'), (5, 'i'), (6, 'you')]
Vectors:
[1. 1. 0. 1. 0. 1. 0.]
[1. 1. 0. 0. 1. 0. 1.]
[2. 1. 2. 1. 1. 1. 1.]

代码2

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer
texts = ['i have a melon','you have a banana','you and i have a melon and a banana']
# 将所有文本转换为小写
#texts = [text.lower() for text in texts]# 使用 CountVectorizer 来构建词汇表和向量化
# 把i和a这种一个字母的词也算在内用token_pattern=r'(?u)\b\w+\b'
count = CountVectorizer(token_pattern=r'(?u)\b\w+\b')bag = count.fit_transform(texts)print('Vocabulary:',count.vocabulary_)print('Vectors:')
print(bag.toarray())
Vocabulary: {'i': 4, 'have': 3, 'a': 0, 'melon': 5, 'you': 6, 'banana': 2, 'and': 1}
Vectors:
[[1 0 0 1 1 1 0][1 0 1 1 0 0 1][2 2 1 1 1 1 1]]

第一段代码手动构建了一个词汇表,并定义了一个 vectorize 函数来将文本转换为向量。这个函数统计每个单词在句子中出现的次数,并将结果存储在一个与词汇表长度相同的数组中。

第二段代码使用了 CountVectorizer 类,这是 scikit-learn 库提供的一个工具,用于将文本数据转换为词袋模型。CountVectorizer 自动构建一个词汇表,并且统计每个单词在文档中出现的次数。在 CountVectorizer 中,默认情况下,单个字母不会被当作单词来处理,因为它们通常被视为停用词。如果希望将单个字母也包括在内,可以通过设置 token_pattern 参数来实现。默认的 token_pattern'(?u)\b\w\w+\b',这意味着它将匹配边界之间的单词,且单词至少有两个字符长。在 CountVectorizer 中,词汇表(vocabulary_)是根据它首次出现在文档中的顺序来构建的,而不是按照字母顺序或出现频率。

这篇关于词袋模型两个代码例子的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1104055

相关文章

C# 比较两个list 之间元素差异的常用方法

《C#比较两个list之间元素差异的常用方法》:本文主要介绍C#比较两个list之间元素差异,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. 使用Except方法2. 使用Except的逆操作3. 使用LINQ的Join,GroupJoin

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

Visual Studio 2022 编译C++20代码的图文步骤

《VisualStudio2022编译C++20代码的图文步骤》在VisualStudio中启用C++20import功能,需设置语言标准为ISOC++20,开启扫描源查找模块依赖及实验性标... 默认创建Visual Studio桌面控制台项目代码包含C++20的import方法。右键项目的属性:

MySQL数据库的内嵌函数和联合查询实例代码

《MySQL数据库的内嵌函数和联合查询实例代码》联合查询是一种将多个查询结果组合在一起的方法,通常使用UNION、UNIONALL、INTERSECT和EXCEPT关键字,下面:本文主要介绍MyS... 目录一.数据库的内嵌函数1.1聚合函数COUNT([DISTINCT] expr)SUM([DISTIN

Java实现自定义table宽高的示例代码

《Java实现自定义table宽高的示例代码》在桌面应用、管理系统乃至报表工具中,表格(JTable)作为最常用的数据展示组件,不仅承载对数据的增删改查,还需要配合布局与视觉需求,而JavaSwing... 目录一、项目背景详细介绍二、项目需求详细介绍三、相关技术详细介绍四、实现思路详细介绍五、完整实现代码

Go语言代码格式化的技巧分享

《Go语言代码格式化的技巧分享》在Go语言的开发过程中,代码格式化是一个看似细微却至关重要的环节,良好的代码格式化不仅能提升代码的可读性,还能促进团队协作,减少因代码风格差异引发的问题,Go在代码格式... 目录一、Go 语言代码格式化的重要性二、Go 语言代码格式化工具:gofmt 与 go fmt(一)

HTML5实现的移动端购物车自动结算功能示例代码

《HTML5实现的移动端购物车自动结算功能示例代码》本文介绍HTML5实现移动端购物车自动结算,通过WebStorage、事件监听、DOM操作等技术,确保实时更新与数据同步,优化性能及无障碍性,提升用... 目录1. 移动端购物车自动结算概述2. 数据存储与状态保存机制2.1 浏览器端的数据存储方式2.1.

基于 HTML5 Canvas 实现图片旋转与下载功能(完整代码展示)

《基于HTML5Canvas实现图片旋转与下载功能(完整代码展示)》本文将深入剖析一段基于HTML5Canvas的代码,该代码实现了图片的旋转(90度和180度)以及旋转后图片的下载... 目录一、引言二、html 结构分析三、css 样式分析四、JavaScript 功能实现一、引言在 Web 开发中,

Python如何去除图片干扰代码示例

《Python如何去除图片干扰代码示例》图片降噪是一个广泛应用于图像处理的技术,可以提高图像质量和相关应用的效果,:本文主要介绍Python如何去除图片干扰的相关资料,文中通过代码介绍的非常详细,... 目录一、噪声去除1. 高斯噪声(像素值正态分布扰动)2. 椒盐噪声(随机黑白像素点)3. 复杂噪声(如伪

Java Spring ApplicationEvent 代码示例解析

《JavaSpringApplicationEvent代码示例解析》本文解析了Spring事件机制,涵盖核心概念(发布-订阅/观察者模式)、代码实现(事件定义、发布、监听)及高级应用(异步处理、... 目录一、Spring 事件机制核心概念1. 事件驱动架构模型2. 核心组件二、代码示例解析1. 事件定义