【深度学习】S1 预备知识 P2 数据预处理

2024-02-13 07:20

本文主要是介绍【深度学习】S1 预备知识 P2 数据预处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

  • 准备工作
  • 创建数据集
  • 读取数据集
  • 处理缺失值
    • 处理连续数据缺失值
    • 处理离散数据缺失值
  • 转换为张量格式

在应用深度学习技术解决实际问题时,数据的预处理步骤至关重要。在 Python 的各种数据分析工具中,我们选择了 pandas 库来进行这一工作,因为它能与张量兼容。在本篇博文中,我们将概述如何使用 pandas 对原始数据进行预处理,并将其转换成张量格式。


准备工作

本节博文通过调用 Python Pandas 库实现操作,需要读者预安装完成 Pandas 包:

conda install pandas
pip install pandas

创建数据集

如果读者没有初始数据集,可以通过 write 函数创建 csv 数据集。

import osos.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n')f.write('NA,Pave,127500\n')f.write('2,NA,106000\n')f.write('4,NA,178100\n')f.write('NA,NA,140000\n')

读取数据集

读取数据集,我们通过导入 pandas 并调用 read_csv 函数。上述数据集 house_tiny.csv 有四行三列,其中每行描述了房间数量 (NumRooms) ,巷子类型 (Alley) 以及房间价格 (Price);

import os
import pandas as pddata_file = os.path.join('..', 'data', 'house_tiny.csv')
data = pd.read_csv(data_file)
print(data)
   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

至此,我们已经成功读取到了数据集 house_tiny.csv 中的数据。然而在读取到的结果中,我们注意到存在大量的 NaN 值,这些值代表着数据的缺失。下面将阐述数据缺失的处理办法。


处理缺失值

处理数据缺失的常见方法包括插值法和数据删除法。在插值法中,我们会用一个估计的数值来填补缺失的数据,其中一种常见的插值策略是利用周围非缺失数据的平均值来估计缺失值。然而,处理连续数据和离散数据的缺失值时,我们需要采用不同的策略。

处理连续数据缺失值

首先,以及房间数量(NumRooms)为例,我们将利用周围非缺失数据的平均值来估计缺失值。在这里,我们使用 mean() 函数。

numRooms = data.iloc[:, 0]
print(numRooms)
numRooms = numRooms.fillna(numRooms.mean())
print(numRooms)
0    NaN
1    2.0
2    4.0
3    NaN
Name: NumRooms, dtype: float64
0    3.0
1    2.0
2    4.0
3    3.0
Name: NumRooms, dtype: float64

处理离散数据缺失值

在对离散数据处理缺失值时,我们将 NaN 视作一个独立的类别。以“巷子类型”(Alley)为例,这一列只有两种可能的值:“Pave” 和 NaN。

借助 pandas 库,我们可以把这个列拆分成两列:“Pave” 和 “NaN”。在拆分后的两列中,如果巷子类型是 “Pave”,那么 “Pave” 列的值为 1,而 “NaN” 列的值为 0 ;如果巷子类型是 NaN,则反之。

为了实现这一点,我们使用了 get_dummies() 函数,并通过设置 dummy_na 参数来决定是否创建一个代表 NaN 的额外列。

alley = data.iloc[:, 1]
print(alley)
alley = pd.get_dummies(alley, dummy_na=True)
print(alley)
0    Pave
1     NaN
2     NaN
3     NaN
Name: Alley, dtype: objectPave    NaN
0   True  False
1  False   True
2  False   True
3  False   True

如上,我们将数据集 house_tiny.csv 中缺失的连续数据(房间数量)、离散数据(巷子类型)处理完成。


转换为张量格式

在对数据集处理完缺失值后,我们将其转换成张量格式。

完整代码如下:

import os
import pandas as pd
import torchdata_file = os.path.join('..', 'data', 'house_tiny.csv')
data = pd.read_csv(data_file)inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
# print(inputs, outputs)
inputs['NumRooms'] = inputs['NumRooms'].fillna(inputs['NumRooms'].mean())
inputs['Alley'] = pd.get_dummies(inputs['Alley'], dummy_na=False)
# print(inputs)
X = torch.tensor(inputs.to_numpy(dtype=float))
y = torch.tensor(outputs.to_numpy(dtype=float))\print(X)
print(y)
tensor([[3., 1.],[2., 0.],[4., 0.],[3., 0.]], dtype=torch.float64)
tensor([127500., 106000., 178100., 140000.], dtype=torch.float64)

至此,我们使用 pandas 对原始数据进行预处理,读取数据集,处理缺失值;最后,将其转换为张量格式。


此上,如有任何为题,请留言或者联系,谢谢~

2024.2.12

这篇关于【深度学习】S1 预备知识 P2 数据预处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/704856

相关文章

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt

在Rust中要用Struct和Enum组织数据的原因解析

《在Rust中要用Struct和Enum组织数据的原因解析》在Rust中,Struct和Enum是组织数据的核心工具,Struct用于将相关字段封装为单一实体,便于管理和扩展,Enum用于明确定义所有... 目录为什么在Rust中要用Struct和Enum组织数据?一、使用struct组织数据:将相关字段绑

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate

Java实现Elasticsearch查询当前索引全部数据的完整代码

《Java实现Elasticsearch查询当前索引全部数据的完整代码》:本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数(scrol... 目录需求背景通常情况Java 实现查询 Elasticsearch 全部数据写在最后需求背景通常情况下