Bobo老师机器学习笔记-数据归一化

2024-03-02 20:08

本文主要是介绍Bobo老师机器学习笔记-数据归一化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

实现算法:


def normalizate_max_min(X):"""利用最大和最小化方式进行归一化,过一化的数据集中在【0, 1】:param X::return:"""np.asarray(X, dtype=float)if len(X.shape) == 1:normalizate_array = ( X - np.min(X) ) / (np.max(X) - np.min(X))else:normalizate_array = np.zeros(X.shape)for column in range(X.shape[1]):normalizate_array[:, column] = (X[:, column] - np.min(X[:, column])) / (np.max(X[:, column] - np.min(X[:, column])))return normalizate_arraydef standardization(X):"""利用z-scores实现,标准化后的数据大概在【-1.5到1.5】,数据的平均数为0,方差为1:param X: 可以是矩阵:return:"""np.asarray(X, dtype=float)if len(X.shape) == 1:return (X - np.mean(X)) / np.std(X)else:dt = np.zeros(X.shape)for i in range(X.shape[1]):dt[:, i] = (X[:,i] - np.mean(X)) / np.std(X[:, ])return dt
 Y = np.random.randint(1, 10, (20, 5))nml_data = normalizate_max_min(Y)std_data = standardization(Y)plt.scatter(Y[:, 0], Y[:, 1], color='green', label='Original Data')plt.scatter(std_data[:, 0], std_data[:, 1], color='red', label="Max-Min normalization")plt.scatter(nml_data[:, 0], nml_data[:, 1], color='blue', marker='+', label="Standardazation")plt.legend()plt.show()

把测试数据进行图形展示:

Sklearn中实现可以详细可以看下面链接:

http://cwiki.apachecn.org/pages/viewpage.action?pageId=10814134

主要有一个模块交preprocessing,里面有实现各种scaler。 

比如下面两个例子:

    from sklearn.preprocessing import MinMaxScaler, StandardScaler, scalemax_min_scaler = MinMaxScaler()x_train_data = max_min_scaler.fit_transform(Y)print(x_train_data)standard_scaler =  StandardScaler()x_train_data = standard_scaler.fit_transform(Y)print(x_train_data)

用KNN算法测试:

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifieriris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target)standardscaler = StandardScaler()
standardscaler.fit(X_train)X_train_stanard = standardscaler.transform(X_train)
X_test_standard = standardscaler.transform(X_test)knn_clf = KNeighborsClassifier(n_neighbors=3)
knn_clf.fit(X_train_stanard, y_train)knn_clf.predict(X_test_standard)
print(knn_clf.score(X_test_standard, y_test))

 

这篇关于Bobo老师机器学习笔记-数据归一化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/767286

相关文章

Python使用Pandas对比两列数据取最大值的五种方法

《Python使用Pandas对比两列数据取最大值的五种方法》本文主要介绍使用Pandas对比两列数据取最大值的五种方法,包括使用max方法、apply方法结合lambda函数、函数、clip方法、w... 目录引言一、使用max方法二、使用apply方法结合lambda函数三、使用np.maximum函数

Java深度学习库DJL实现Python的NumPy方式

《Java深度学习库DJL实现Python的NumPy方式》本文介绍了DJL库的背景和基本功能,包括NDArray的创建、数学运算、数据获取和设置等,同时,还展示了如何使用NDArray进行数据预处理... 目录1 NDArray 的背景介绍1.1 架构2 JavaDJL使用2.1 安装DJL2.2 基本操

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt

在Rust中要用Struct和Enum组织数据的原因解析

《在Rust中要用Struct和Enum组织数据的原因解析》在Rust中,Struct和Enum是组织数据的核心工具,Struct用于将相关字段封装为单一实体,便于管理和扩展,Enum用于明确定义所有... 目录为什么在Rust中要用Struct和Enum组织数据?一、使用struct组织数据:将相关字段绑

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate

Java实现Elasticsearch查询当前索引全部数据的完整代码

《Java实现Elasticsearch查询当前索引全部数据的完整代码》:本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数(scrol... 目录需求背景通常情况Java 实现查询 Elasticsearch 全部数据写在最后需求背景通常情况下