Bobo老师机器学习笔记-数据归一化

2024-03-02 20:08

本文主要是介绍Bobo老师机器学习笔记-数据归一化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

实现算法:


def normalizate_max_min(X):"""利用最大和最小化方式进行归一化,过一化的数据集中在【0, 1】:param X::return:"""np.asarray(X, dtype=float)if len(X.shape) == 1:normalizate_array = ( X - np.min(X) ) / (np.max(X) - np.min(X))else:normalizate_array = np.zeros(X.shape)for column in range(X.shape[1]):normalizate_array[:, column] = (X[:, column] - np.min(X[:, column])) / (np.max(X[:, column] - np.min(X[:, column])))return normalizate_arraydef standardization(X):"""利用z-scores实现,标准化后的数据大概在【-1.5到1.5】,数据的平均数为0,方差为1:param X: 可以是矩阵:return:"""np.asarray(X, dtype=float)if len(X.shape) == 1:return (X - np.mean(X)) / np.std(X)else:dt = np.zeros(X.shape)for i in range(X.shape[1]):dt[:, i] = (X[:,i] - np.mean(X)) / np.std(X[:, ])return dt
 Y = np.random.randint(1, 10, (20, 5))nml_data = normalizate_max_min(Y)std_data = standardization(Y)plt.scatter(Y[:, 0], Y[:, 1], color='green', label='Original Data')plt.scatter(std_data[:, 0], std_data[:, 1], color='red', label="Max-Min normalization")plt.scatter(nml_data[:, 0], nml_data[:, 1], color='blue', marker='+', label="Standardazation")plt.legend()plt.show()

把测试数据进行图形展示:

Sklearn中实现可以详细可以看下面链接:

http://cwiki.apachecn.org/pages/viewpage.action?pageId=10814134

主要有一个模块交preprocessing,里面有实现各种scaler。 

比如下面两个例子:

    from sklearn.preprocessing import MinMaxScaler, StandardScaler, scalemax_min_scaler = MinMaxScaler()x_train_data = max_min_scaler.fit_transform(Y)print(x_train_data)standard_scaler =  StandardScaler()x_train_data = standard_scaler.fit_transform(Y)print(x_train_data)

用KNN算法测试:

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifieriris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target)standardscaler = StandardScaler()
standardscaler.fit(X_train)X_train_stanard = standardscaler.transform(X_train)
X_test_standard = standardscaler.transform(X_test)knn_clf = KNeighborsClassifier(n_neighbors=3)
knn_clf.fit(X_train_stanard, y_train)knn_clf.predict(X_test_standard)
print(knn_clf.score(X_test_standard, y_test))

 

这篇关于Bobo老师机器学习笔记-数据归一化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/767286

相关文章

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略:更新数

Oracle 数据库数据操作如何精通 INSERT, UPDATE, DELETE

《Oracle数据库数据操作如何精通INSERT,UPDATE,DELETE》在Oracle数据库中,对表内数据进行增加、修改和删除操作是通过数据操作语言来完成的,下面给大家介绍Oracle数... 目录思维导图一、插入数据 (INSERT)1.1 插入单行数据,指定所有列的值语法:1.2 插入单行数据,指

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal