【深度学习】S1 预备知识 P2 数据预处理

2024-02-13 07:20

本文主要是介绍【深度学习】S1 预备知识 P2 数据预处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 准备工作
  • 创建数据集
  • 读取数据集
  • 处理缺失值
    • 处理连续数据缺失值
    • 处理离散数据缺失值
  • 转换为张量格式

在应用深度学习技术解决实际问题时,数据的预处理步骤至关重要。在 Python 的各种数据分析工具中,我们选择了 pandas 库来进行这一工作,因为它能与张量兼容。在本篇博文中,我们将概述如何使用 pandas 对原始数据进行预处理,并将其转换成张量格式。


准备工作

本节博文通过调用 Python Pandas 库实现操作,需要读者预安装完成 Pandas 包:

conda install pandas
pip install pandas

创建数据集

如果读者没有初始数据集,可以通过 write 函数创建 csv 数据集。

import osos.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n')f.write('NA,Pave,127500\n')f.write('2,NA,106000\n')f.write('4,NA,178100\n')f.write('NA,NA,140000\n')

读取数据集

读取数据集,我们通过导入 pandas 并调用 read_csv 函数。上述数据集 house_tiny.csv 有四行三列,其中每行描述了房间数量 (NumRooms) ,巷子类型 (Alley) 以及房间价格 (Price);

import os
import pandas as pddata_file = os.path.join('..', 'data', 'house_tiny.csv')
data = pd.read_csv(data_file)
print(data)
   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

至此,我们已经成功读取到了数据集 house_tiny.csv 中的数据。然而在读取到的结果中,我们注意到存在大量的 NaN 值,这些值代表着数据的缺失。下面将阐述数据缺失的处理办法。


处理缺失值

处理数据缺失的常见方法包括插值法和数据删除法。在插值法中,我们会用一个估计的数值来填补缺失的数据,其中一种常见的插值策略是利用周围非缺失数据的平均值来估计缺失值。然而,处理连续数据和离散数据的缺失值时,我们需要采用不同的策略。

处理连续数据缺失值

首先,以及房间数量(NumRooms)为例,我们将利用周围非缺失数据的平均值来估计缺失值。在这里,我们使用 mean() 函数。

numRooms = data.iloc[:, 0]
print(numRooms)
numRooms = numRooms.fillna(numRooms.mean())
print(numRooms)
0    NaN
1    2.0
2    4.0
3    NaN
Name: NumRooms, dtype: float64
0    3.0
1    2.0
2    4.0
3    3.0
Name: NumRooms, dtype: float64

处理离散数据缺失值

在对离散数据处理缺失值时,我们将 NaN 视作一个独立的类别。以“巷子类型”(Alley)为例,这一列只有两种可能的值:“Pave” 和 NaN。

借助 pandas 库,我们可以把这个列拆分成两列:“Pave” 和 “NaN”。在拆分后的两列中,如果巷子类型是 “Pave”,那么 “Pave” 列的值为 1,而 “NaN” 列的值为 0 ;如果巷子类型是 NaN,则反之。

为了实现这一点,我们使用了 get_dummies() 函数,并通过设置 dummy_na 参数来决定是否创建一个代表 NaN 的额外列。

alley = data.iloc[:, 1]
print(alley)
alley = pd.get_dummies(alley, dummy_na=True)
print(alley)
0    Pave
1     NaN
2     NaN
3     NaN
Name: Alley, dtype: objectPave    NaN
0   True  False
1  False   True
2  False   True
3  False   True

如上,我们将数据集 house_tiny.csv 中缺失的连续数据(房间数量)、离散数据(巷子类型)处理完成。


转换为张量格式

在对数据集处理完缺失值后,我们将其转换成张量格式。

完整代码如下:

import os
import pandas as pd
import torchdata_file = os.path.join('..', 'data', 'house_tiny.csv')
data = pd.read_csv(data_file)inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
# print(inputs, outputs)
inputs['NumRooms'] = inputs['NumRooms'].fillna(inputs['NumRooms'].mean())
inputs['Alley'] = pd.get_dummies(inputs['Alley'], dummy_na=False)
# print(inputs)
X = torch.tensor(inputs.to_numpy(dtype=float))
y = torch.tensor(outputs.to_numpy(dtype=float))\print(X)
print(y)
tensor([[3., 1.],[2., 0.],[4., 0.],[3., 0.]], dtype=torch.float64)
tensor([127500., 106000., 178100., 140000.], dtype=torch.float64)

至此,我们使用 pandas 对原始数据进行预处理,读取数据集,处理缺失值;最后,将其转换为张量格式。


此上,如有任何为题,请留言或者联系,谢谢~

2024.2.12

这篇关于【深度学习】S1 预备知识 P2 数据预处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/704856

相关文章

python处理带有时区的日期和时间数据

《python处理带有时区的日期和时间数据》这篇文章主要为大家详细介绍了如何在Python中使用pytz库处理时区信息,包括获取当前UTC时间,转换为特定时区等,有需要的小伙伴可以参考一下... 目录时区基本信息python datetime使用timezonepandas处理时区数据知识延展时区基本信息

Qt实现网络数据解析的方法总结

《Qt实现网络数据解析的方法总结》在Qt中解析网络数据通常涉及接收原始字节流,并将其转换为有意义的应用层数据,这篇文章为大家介绍了详细步骤和示例,感兴趣的小伙伴可以了解下... 目录1. 网络数据接收2. 缓冲区管理(处理粘包/拆包)3. 常见数据格式解析3.1 jsON解析3.2 XML解析3.3 自定义

SpringMVC 通过ajax 前后端数据交互的实现方法

《SpringMVC通过ajax前后端数据交互的实现方法》:本文主要介绍SpringMVC通过ajax前后端数据交互的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价... 在前端的开发过程中,经常在html页面通过AJAX进行前后端数据的交互,SpringMVC的controll

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认