PLS-DA分类的实现(基于sklearn)

2023-10-19 07:30
文章标签 实现 分类 da sklearn pls

本文主要是介绍PLS-DA分类的实现(基于sklearn),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

简单介绍

代码实现

数据集划分

选择因子个数

模型训练并分类

调用函数


简单介绍

(此处取自各处资料)    

    PLS-DA既可以用来分类,也可以用来降维,与PCA不同的是,PCA是无监督的,PLS-DA是有监督的。与PCA不同,PCA是无监督,PLS是“有监督”模式的偏最小二乘法分析,当样本组间差异大而组内差异小时,无监督分析方法可以很好的区分组间差异。反之样本组间差异不大,无监督的方法就难以区分组间差异。另外如果组间的差异较小,各组的样本量相差较大,样本量大的那组将会主导模型。有监督的分析(PLS-DA)能够很好的解决这些问题。也就是在分析数据时,已知样本的分组关系,这样可以更好的选择区分各组的特征变量,确定样本之间的关系。DA是判别分析,PLS-DA用偏最小二乘回归的方法,在对数据“降维”的同时,建立了回归模型,并对回归结果进行判别分析。

    本文主要是基于PLS的分类展开。

代码实现

主要参考了这位大佬的: https://zhuanlan.zhihu.com/p/374412915

数据集划分

    首先要把数据集处理成一定的格式,也就是把自变量和因变量搞清楚,做好数据集的分割,然后传回。

def deal_data(path):# 读取自变量和因变量构成的数据矩阵,类别y放最后一列,前面均为xspec = pd.read_excel(path)spec = np.array(spec)  # 直接转化为numpy类型x = spec[:, 0:-1]  # 前面的列均为自变量y = spec[:,-1]# 先做一个数据集的划分train_X, test_X, train_y, test_y = train_test_split(x, y, test_size=0.2)return train_X, test_X, train_y, test_y

选择因子个数

    PLS类似于PCA,是有成分这么一个说法的,不同的成分个数最终得到的效果也不一样,因此我们对于不同的成分个数均进行训练,然后进行交叉验证,观察不同成分个数的表现,从而选择合适的个数。

def accuracy_component(xc, xv, yc, yv, component=8, n_fold=5):# xc表示训练集,xv表示测试集,yc表示训练标签,yv表示测试标签,component表示最多个数,n_fold表示分为几组样本(每次一组作为测试集,交叉验证)k_range = np.linspace(start=1, stop=component, num=component)kf = KFold(n_splits=n_fold, random_state=None, shuffle=True)  # n_splits表示要分割为多少个K子集,交叉验证需要accuracy_validation = np.zeros((1, component))  # 用于存储各个成分数的测试平均精准度accuracyaccuracy_train = np.zeros((1, component))  # 用于存储各个成分数的训练平均精准度accuracyfor j in range(component):  # j∈[0,component-1],j+1∈[1,component]p = 0acc = 0  # acc表示总的精准度,p表示个数,acc/p平均精确度# 下面是普通训练model_pls = PLSRegression(n_components=j + 1)  # 此时选择component个成分yc_labels = pd.get_dummies(yc)model_pls.fit(xc, yc_labels)y_pred = model_pls.predict(xv)y_pred = np.array([np.argmax(i) for i in y_pred])accuracy_train[:, j] = accuracy_score(yv, y_pred)  # 这是直接训练的# 下面是交叉验证for train_index, test_index in kf.split(xc):  # 进行n_fold轮交叉验证# 划分数据集X_train, X_test = xc[train_index], xc[test_index]y_train, y_test = yc[train_index], yc[test_index]YC_labels = pd.get_dummies(y_train)  # 训练数据结果独热编码model_1 = PLSRegression(n_components=j + 1)model_1.fit(X_train, YC_labels)Y_pred = model_1.predict(X_test)Y_pred = np.array([np.argmax(i1) for i1 in Y_pred])  # 独热编码转化成类别变量acc = accuracy_score(y_test, Y_pred) + accp = p + 1accuracy_validation[:, j] = acc / p  # 计算j+1个成分的平均精准度# 首先对于每个component数训练一个模型,然后利用测试集得出准确率print('模型训练的准确率')print(accuracy_train)# 然后对样本的训练集进行交叉验证print('交叉验证的平均准确率')print(accuracy_validation)plt.plot(k_range, accuracy_train.T, 'o-', label="Training", color="r")plt.plot(k_range, accuracy_validation.T, 'o-', label="Cross-validation", color="b")plt.xlabel("N components")plt.ylabel("Score")plt.legend(loc="best")  # 选取最佳位置标注图注plt.rc('font', family='Times New Roman')plt.rcParams['font.size'] = 10plt.show()return accuracy_validation, accuracy_train

    下面是运行效果,因为数据是乱造的所以参数就不用关注了,这样来看的话三到四个因子效果还不错。

模型训练并分类

    下面就是选择合适的成分个数进行分类,得到混淆矩阵和一些参数指标。

def PLS_DA(train_X, test_X, train_y, test_y):# 建模model = PLSRegression(n_components=6)train_y = pd.get_dummies(train_y)model.fit(train_X, train_y)# 预测y_pred = model.predict(test_X)# 将预测结果(类别矩阵)转换为数值标签y_pred = np.array([np.argmax(i) for i in y_pred])# 模型评价---混淆矩阵和精度print('测试集混淆矩阵为:\n', confusion_matrix(test_y, y_pred))print('平均分类准确率为:\n', accuracy_score(test_y, y_pred))

     运行效果,至少比乱分类的33%正确率要高。

调用函数

     以上都是各个组件,最后需要一个主函数调用串联起来,如下,    建议分步调用,也便于问题的发现和处理。

max_component = 8 # 迭代最大成分数
n_fold = 10  # 交叉验证次数
excel_path = './data.xlsx'  # 数据集地址
if __name__ == '__main__':train_X, test_X, train_y, test_y = deal_data(excel_path)  # 处理数据,返回处理完的训练和测试集,具体情况具体分析# accuracy_component(train_X, test_X, train_y, test_y, max_component, n_fold)PLS_DA(train_X, test_X, train_y, test_y,n_components=3)

这篇关于PLS-DA分类的实现(基于sklearn)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/238290

相关文章

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

opencv图像处理之指纹验证的实现

《opencv图像处理之指纹验证的实现》本文主要介绍了opencv图像处理之指纹验证的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、简介二、具体案例实现1. 图像显示函数2. 指纹验证函数3. 主函数4、运行结果三、总结一、

Springboot处理跨域的实现方式(附Demo)

《Springboot处理跨域的实现方式(附Demo)》:本文主要介绍Springboot处理跨域的实现方式(附Demo),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录Springboot处理跨域的方式1. 基本知识2. @CrossOrigin3. 全局跨域设置4.

Spring Boot 3.4.3 基于 Spring WebFlux 实现 SSE 功能(代码示例)

《SpringBoot3.4.3基于SpringWebFlux实现SSE功能(代码示例)》SpringBoot3.4.3结合SpringWebFlux实现SSE功能,为实时数据推送提供... 目录1. SSE 简介1.1 什么是 SSE?1.2 SSE 的优点1.3 适用场景2. Spring WebFlu

基于SpringBoot实现文件秒传功能

《基于SpringBoot实现文件秒传功能》在开发Web应用时,文件上传是一个常见需求,然而,当用户需要上传大文件或相同文件多次时,会造成带宽浪费和服务器存储冗余,此时可以使用文件秒传技术通过识别重复... 目录前言文件秒传原理代码实现1. 创建项目基础结构2. 创建上传存储代码3. 创建Result类4.

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Python+PyQt5实现多屏幕协同播放功能

《Python+PyQt5实现多屏幕协同播放功能》在现代会议展示、数字广告、展览展示等场景中,多屏幕协同播放已成为刚需,下面我们就来看看如何利用Python和PyQt5开发一套功能强大的跨屏播控系统吧... 目录一、项目概述:突破传统播放限制二、核心技术解析2.1 多屏管理机制2.2 播放引擎设计2.3 专

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

idea中创建新类时自动添加注释的实现

《idea中创建新类时自动添加注释的实现》在每次使用idea创建一个新类时,过了一段时间发现看不懂这个类是用来干嘛的,为了解决这个问题,我们可以设置在创建一个新类时自动添加注释,帮助我们理解这个类的用... 目录前言:详细操作:步骤一:点击上方的 文件(File),点击&nbmyHIgsp;设置(Setti