深度学习每周学习总结N1（one-hot 编码案例）

2024-06-13 08:28
文章标签 学习 总结 深度 编码 案例 one hot 每周 n1

本文主要是介绍深度学习每周学习总结N1（one-hot 编码案例），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者：K同学啊 | 接辅导、项目定制

数据链接
提取码：c949

–来自百度网盘超级会员V5的分享

目录

    • 总结：
    • 1. 中文文本One-Hot编码示例
      • 代码解析
    • 2.直接使用词袋模型（CountVectorizer）实现独热编码

总结：

之前有学习过文本预处理的环节，对文本处理的主要方式有以下三种：

1：词袋模型（one-hot编码）

2：TF-IDF

3：Word2Vec(词向量)

详细介绍及中英文分词详见pytorch文本分类（一）：文本预处理

本期主要介绍one-hot编码示例流程（词汇表 -> 文本序列 -> One-hot编码）手撕模式 + 直接调用现成的词袋模型（CountVectorizer）

1. 中文文本One-Hot编码示例

import torch
import torch.nn.functional as F
import jieba# 示例中文文本
texts = ['你好，最近怎么样？','我过的很好，谢谢！','再见。']# 使用结巴分词进行分词
tokenized_texts = [list(jieba.cut(text)) for text in texts] # [['你好', '，', '最近', '怎么样', '？'], ['我', '过', '的', '很好', '，', '谢谢', '！'], ['再见', '。']]# 构建词汇表
word_index = {}
index_word = {}
# 将所有分词结果中的单词去重，建立 word_index 和 index_word 两个字典，分别存储单词到索引和索引到单词的映射
for i,word in enumerate(set(word for text in tokenized_texts for word in text)):word_index[word] = iindex_word[i] = word# 将文本转化为整数序列
sequences = [[word_index[word] for word in text] for text in tokenized_texts] # 获取词汇表大小
vocab_size = len(word_index)# 将整数序列转化为ont-hot编码
one_hot_results = torch.zeros(len(texts),vocab_size)
for i,seq in enumerate(sequences):one_hot_results[i,seq] = 1# 打印结果
print("词汇表: \n",word_index)
print("文本: \n",texts)
print("分词结果: \n",tokenized_texts)
print("文本序列: \n",sequences)
print("One-Hot编码: \n",one_hot_results)

词汇表: {'。': 0, '的': 1, '谢谢': 2, '你好': 3, '再见': 4, '我过': 5, '！': 6, '很': 7, '？': 8, '好': 9, '怎么样': 10, '最近': 11, '，': 12}
文本: ['你好，最近怎么样？', '我过的很好，谢谢！', '再见。']
分词结果: [['你好', '，', '最近', '怎么样', '？'], ['我过', '的', '很', '好', '，', '谢谢', '！'], ['再见', '。']]
文本序列: [[3, 12, 11, 10, 8], [5, 1, 7, 9, 12, 2, 6], [4, 0]]
One-Hot编码: tensor([[0., 0., 0., 1., 0., 0., 0., 0., 1., 0., 1., 1., 1.],[0., 1., 1., 0., 0., 1., 1., 1., 0., 1., 0., 0., 1.],[1., 0., 0., 0., 1., 0., 0., 0., 0., 0., 0., 0., 0.]])

让我们逐步解析这段代码，并说明每一步操作后数据的结构和状态。

代码解析

  1. 导入必要的库

    import torch
import torch.nn.functional as F
import jieba

  2. 示例中文文本

    texts = ['你好，最近怎么样？', '我过的很好，谢谢！', '再见。']

    texts 是一个包含三条中文文本的列表。

  3. 使用结巴分词进行分词

    tokenized_texts = [list(jieba.cut(text)) for text in texts]

    操作：对每条文本进行分词，结果存储在 tokenized_texts 列表中。

    结果：

    tokenized_texts = [['你好', '，', '最近', '怎么样', '？'], ['我', '过', '的', '很好', '，', '谢谢', '！'], ['再见', '。']]

  4. 构建词汇表

    word_index = {}
index_word = {}
for i, word in enumerate(set(word for text in tokenized_texts for word in text)):word_index[word] = iindex_word[i] = word

    操作：将所有分词结果中的单词去重，建立 word_index 和 index_word 两个字典，分别存储单词到索引和索引到单词的映射。

    结果：

    word_index = {'最近': 0, '谢谢': 1, '？': 2, '的': 3, '，': 4, '怎么样': 5, '很好': 6, '我': 7, '再见': 8, '你好': 9, '过': 10, '。': 11, '！': 12}
index_word = {0: '最近', 1: '谢谢', 2: '？', 3: '的', 4: '，', 5: '怎么样', 6: '很好', 7: '我', 8: '再见', 9: '你好', 10: '过', 11: '。', 12: '！'}

  5. 将文本转化为整数序列

    sequences = [[word_index[word] for word in text] for text in tokenized_texts]

    操作：将每条分词后的文本转化为对应的整数序列。

    结果：

    sequences = [[9, 4, 0, 5, 2], [7, 10, 3, 6, 4, 1, 12], [8, 11]]

  6. 获取词汇表大小

    vocab_size = len(word_index)

    操作：计算词汇表的大小。

    结果：

    vocab_size = 13

  7. 将整数序列转化为one-hot编码

    one_hot_results = torch.zeros(len(texts), vocab_size)
for i, seq in enumerate(sequences):one_hot_results[i, seq] = 1

    操作：初始化一个全零的二维张量 one_hot_results，然后根据每条文本的整数序列，将对应位置置为1，生成one-hot编码。

    结果：

    tensor([[0., 0., 1., 0., 1., 1., 0., 0., 0., 1., 0., 0., 0.],[0., 1., 0., 1., 1., 0., 1., 1., 0., 0., 1., 0., 1.],[0., 0., 0., 0., 0., 0., 0., 0., 1., 0., 0., 1., 0.]])

  8. 打印结果

    print("词汇表: \n", word_index)
print("文本: \n", texts)
print("分词结果: \n", tokenized_texts)
print("文本序列: \n", sequences)
print("One-Hot编码: \n", one_hot_results)

    操作：打印出词汇表、原文本、分词结果、文本序列和one-hot编码。

  9. 总结
    这段代码的核心功能是将中文文本分词后，生成相应的整数序列，再转换为one-hot编码。每一步操作后数据的状态如下：

  • texts：包含原始文本的列表。
  • tokenized_texts：包含分词后的文本列表。
  • word_index 和 index_word：分别存储单词到索引和索引到单词的映射字典。
  • sequences：包含整数序列的列表。
  • one_hot_results：包含one-hot编码的二维张量。

2.直接使用词袋模型（CountVectorizer）实现独热编码

import torch
import torch.nn.functional as F
import jieba
from sklearn.feature_extraction.text import CountVectorizer
import re# 示例中文文本
texts = ['你好，最近怎么样？','我过的很好，谢谢！','再见。']# 使用结巴分词进行分词，并移除标点符号 
tokenized_texts = [' '.join(re.findall(r'\w+', ' '.join(jieba.cut(text)))) for text in texts] # 结果：['你好 最近 怎么样', '我 过 的 很好 谢谢', '再见']"""
注意此处代码和上述代码不一致的原因是：CountVectorizer 期望接收的输入是一个字符串列表，但我们提供了一个分词后的列表列表。
为了使用 CountVectorizer 并确保标点符号被移除，我们需要确保输入是字符串而不是分词后的列表。
"""# cv = CountVectorizer() # 创建词袋数据结构
cv = CountVectorizer(token_pattern=r"(?u)\b[\u4e00-\u9fa5a-zA-Z]+\b")  # 仅匹配中文字符和英文单词cv_fit = cv.fit_transform(tokenized_texts)  # CountVectorizer 用于将文本转换为词袋模型。fit_transform 方法同时完成拟合模型和将文本转化为特征向量的操作。# 将词频矩阵转换为 tensor
tensor_result = torch.from_numpy(cv_fit.toarray()).float()print("文本: \n",texts)
print("分词结果: \n",tokenized_texts)
print("列表形式的字典: \n",cv.get_feature_names_out())    #列表形式呈现文章生成的词典，和鲸线上需要使用get_feature_names()
print("字典: \n",cv.vocabulary_)       #字典形式呈现，key：词，value:词id
print("token计数矩阵：\n",cv_fit.toarray()) #.toarray() 将结果转化为稀疏矩阵 一行对应着一句话，一列对应一个词，列index对应词id
print("词频矩阵的 tensor 表示：\n", tensor_result)

文本: ['你好，最近怎么样？', '我过的很好，谢谢！', '再见。']
分词结果: ['你好 最近 怎么样', '我过 的 很 好 谢谢', '再见']
列表形式的字典: ['你好' '再见' '好' '很' '怎么样' '我过' '最近' '的' '谢谢']
字典: {'你好': 0, '最近': 6, '怎么样': 4, '我过': 5, '的': 7, '很': 3, '好': 2, '谢谢': 8, '再见': 1}
token计数矩阵：[[1 0 0 0 1 0 1 0 0][0 0 1 1 0 1 0 1 1][0 1 0 0 0 0 0 0 0]]
词频矩阵的 tensor 表示：tensor([[1., 0., 0., 0., 1., 0., 1., 0., 0.],[0., 0., 1., 1., 0., 1., 0., 1., 1.],[0., 1., 0., 0., 0., 0., 0., 0., 0.]])

这篇关于深度学习每周学习总结N1（one-hot 编码案例）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1056778。

相关文章

HarmonyOS学习(七)——UI（五）常用布局总结

HarmonyOS学习(七)——UI（五）常用布局总结

自适应布局 1.1、线性布局（LinearLayout） 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列，Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距，达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式，且在各类尺寸屏幕上表现一致，其中交叉轴为垂直时，取值为Vert
阅读更多...
Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画（下）

【课程链接】 AntV G6：深入图形与图形分组、自定义节点、节点动画（下）_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中，应该怎样去计算和绘制图形，如何给一个图形制作不间断的动画，以及在鼠标事件之后产生动画。（有点难，需要好好理解） <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06
阅读更多...
学习hash总结

学习hash总结

2014/1/29/   最近刚开始学hash，名字很陌生，但是hash的思想却很熟悉，以前早就做过此类的题，但是不知道这就是hash思想而已，说白了hash就是一个映射，往往灵活利用数组的下标来实现算法，hash的作用：1、判重；2、统计次数；
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2