【动手学深度学习】04 数据操作 + 数据预处理(个人向笔记)

2024-09-08 00:04

本文主要是介绍【动手学深度学习】04 数据操作 + 数据预处理(个人向笔记),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数据操作

  • N维数组是机器学习和神经网络的主要数据结构
  • 其中 2-d 矩阵中每一行表示每一行表示一个样本
    在这里插入图片描述
  • 当维度来到三维的时候则可以表示成一张图片,再加一维就可以变成多张图片,再加一维则可以变成一个视频
    在这里插入图片描述

访问元素

  • 冒号表示从冒号左边的元素到冒号右边的前一个元素(开区间),其中如果左边为空,那么表示从第一个开始,如果右边为空,那么表示访问到最后一个,如果两边都为空,则表示全部访问
  • 其中一行中我们指定了第一行:1,然后我们想要第一行的所有元素,所以我们把列冒号左右两边的元素都设置为空
  • 下图的列的标注有误,应该为:[:,1]
  • 其中还可以再添加一个冒号,表示访问的间隔,如最后一个示例所示:两个冒号后面的3表示下一次访问+3,两个冒号后面的2表示下一次访问+2
    在这里插入图片描述

数据操作实现

  • 张量(tensor): 一个数值组成的数组,这个数组可能有多个维度,如下图所示是一个一维的,长度为12的向量
  • 把变量放在jupyter的最后一行可以直接把它打印出来

在这里插入图片描述

  • 可以通过 shape 来访问张量的形状和张量中元素的总数,下图所示表示向量的维度为一,有 12 个元素
  • numel 为 number of element 表示总共有 12 个元素
    在这里插入图片描述
  • 可以通过 reshape 来更改张量的形状而不改变元素的个数
    在这里插入图片描述
  • zeros: 创造全 0 的张量
  • ones: 创造全1的张量
  • 2,3,4 可以理解成 2 个通道,3*4 的矩阵。也可以理解为 2 个,3 行,4 列
    在这里插入图片描述
  • 还可以传入列表来生成张量,需要把全部列表都包含在一个列表里面传入:
    在这里插入图片描述
  • 常见的标准运算符:+, -, *, /, ** 都可以被视为tensor间的按元素运算
    在这里插入图片描述
  • 可以用 cat 来进行指定维度的张量连接
    在这里插入图片描述
  • 可以通过逻辑运算符构建二元张量
    在这里插入图片描述
  • 可以对所有元素求和生成一个只有一个元素的张量
    在这里插入图片描述
  • 张量的广播机制: 一个在实际运用中很容易出错的地方。当两个张量的维度相同且两个张量都有一个是一维的,但是每一维的元素数量不同时,数量较少的那个张量会进行复制自己到和数量较大的数量相同后运算。
  • 下图第一维 b 的数量较少,于是 b 又额外复制了两个 [0. 1] 到第一维参与运算。而第二维 a 的数量较少,于是 a 的每个都复制了自身变成了 [0, 0], [1, 1], [2, 2]
    在这里插入图片描述
  • 我们可以指定索引来读取的修改张量:
    在这里插入图片描述
  • 张量操作的内存相关内容: 其中 id 是类似 c 语言指针的东西。下面的第一段代码表示直接用一个相同名字的变量来接收的话是会开辟新的内存的,即使它们名字一样。但是如果是指定所有元素[ : ]的话则不会
    在这里插入图片描述
  • 所以如果后续没有再使用 X 的话,可以用 X[ : ] 来进行操作来减少内存的开销:
    在这里插入图片描述
  • 可以用numpy的数组来构建张量:
    在这里插入图片描述
  • 可以将大小为 1 的张量转化为 python 中的标量:
    在这里插入图片描述

数据预处理实现

  • 课堂代码如下:
    在这里插入图片描述
  • 其中沐神并未解释前面几行代码的含义:问gpt结果如下
    在这里插入图片描述
    在这里插入图片描述
  • 可以用 pandas 里面的 read_csv 来读取csv文件:
    在这里插入图片描述
  • 可以用 iloc 来按索引取文件中的内容
  • 可以用 fillna 来填充数据中的 NaN 值,可以用 mean() 来取数据中的平均值,下面表示用均值填充
    在这里插入图片描述
  • 对于数据中的类别值或者离散值,我们可以将NaN变为一个类别:
    在这里插入图片描述
    在这里插入图片描述
  • 在经过上述处理后,input 和 output 都变成了数值,现在可以转化成 tensor 了
    在这里插入图片描述

Q&A

  • reshape 和 view 的区别:reshape 是浅拷贝,如果修改 reshape 后的张量,那么被 reshape 的张量也会被修改:
    在这里插入图片描述

这篇关于【动手学深度学习】04 数据操作 + 数据预处理(个人向笔记)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1146544

相关文章

C# 读写ini文件操作实现

《C#读写ini文件操作实现》本文主要介绍了C#读写ini文件操作实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录一、INI文件结构二、读取INI文件中的数据在C#应用程序中,常将INI文件作为配置文件,用于存储应用程序的

Python使用qrcode库实现生成二维码的操作指南

《Python使用qrcode库实现生成二维码的操作指南》二维码是一种广泛使用的二维条码,因其高效的数据存储能力和易于扫描的特点,广泛应用于支付、身份验证、营销推广等领域,Pythonqrcode库是... 目录一、安装 python qrcode 库二、基本使用方法1. 生成简单二维码2. 生成带 Log

Java操作ElasticSearch的实例详解

《Java操作ElasticSearch的实例详解》Elasticsearch是一个分布式的搜索和分析引擎,广泛用于全文搜索、日志分析等场景,本文将介绍如何在Java应用中使用Elastics... 目录简介环境准备1. 安装 Elasticsearch2. 添加依赖连接 Elasticsearch1. 创

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

java Stream操作转换方法

《javaStream操作转换方法》文章总结了Java8中流(Stream)API的多种常用方法,包括创建流、过滤、遍历、分组、排序、去重、查找、匹配、转换、归约、打印日志、最大最小值、统计、连接、... 目录流创建1、list 转 map2、filter()过滤3、foreach遍历4、groupingB

Java操作PDF文件实现签订电子合同详细教程

《Java操作PDF文件实现签订电子合同详细教程》:本文主要介绍如何在PDF中加入电子签章与电子签名的过程,包括编写Word文件、生成PDF、为PDF格式做表单、为表单赋值、生成文档以及上传到OB... 目录前言:先看效果:1.编写word文件1.2然后生成PDF格式进行保存1.3我这里是将文件保存到本地后

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档