使用SPSS的McNemar检验两种深度学习模型的差异性

2023-12-13 16:04

本文主要是介绍使用SPSS的McNemar检验两种深度学习模型的差异性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

使用SPSS的McNemar检验两种深度学习模型的差异性

  • 前言
  • 简述:
  • 一、McNemar检验
    • 1.1来源
    • 1.2 两配对样本的McNemar(麦克尼马尔)变化显著性检验
    • 1.3 适用范围:
    • 1.4 基于对深度学习模型检测下的检测数据要求:
  • 二、使用SPSS的McNemar检验
    • 2.1 前置
    • 2.2 问题定义
    • 2.3 使用SPSS
      • 2.3.1 非参数检验-相关样本
      • 2.3.2 选择要比较的模型
      • 2.3.3 看结果
  • 参考文章:
  • 如有不足,还请各位大佬指正!


前言

前排提示:
我看到好多McNemar检验的文章没有说如何用到深度学习模型检测的,所以自己给自己做个笔记.本身不难,但是很多文章都写的好乱,例如没有解释为什么深度学习模型中留一法,或者单独留出测试集的k折模型只能用McNemar 测试检验模型差异性。以及零假设是什么,为什么要拒绝。
1.不使用python构建McNemar检验代码
2.使用spss的McNemar检验
方便快捷,适合即时使用

简述:

深度学习模型McNemar检验
对于只能执行一次的算法,McNemar 的测试是唯一具有可接受的 I 类错误的测试。
**数据:**两个对比模型的检测结果与样本对比后的结果(0,1)(0,1表征 T or F)
I 型错误是错误地拒绝实际为真的零假设。
零假设: A和B模型在性能上的差异不具有统计学意义,即差异不显著

一、McNemar检验

1.1来源

McNemar 检验是用于配对 名义数据的统计检验。它应用于具有二分特征的2 × 2列联表,具有匹配的主题对,以确定行和列的边际频率是否相等(即是否存在“边际同质性”)。它以Quinn McNemar 的名字命名,他于 1947 年引入了它。该测试在遗传学中的一个应用是用于检测连锁不平衡的传输不平衡测试。

1.2 两配对样本的McNemar(麦克尼马尔)变化显著性检验

McNemar 检验 是 2 * 2 表的配对检验。
McNemar变化显著性检验以研究对象自身为对照,检验其两组样本变化是否显著。
**原假设: 样本来自的两配对总体分布无显著差异。**即我们后面定义的零假设
要求: McNemar变化显著性检验要求待检验的两组样本的观察值是二分类数据,在实际分析中有一定的局限性。

1.3 适用范围:

具体而言,建议在那些被比较的算法只能评估一次的情况下进行测试,例如,在一个测试集上,而不是通过重采样技术重复评估,例如 k 折交叉验证。

对于只能执行一次的算法,McNemar 的测试是唯一具有可接受的 I 类错误的测试。
对于k折交叉验证,有两种纷争,一种是全部数据进行k折,一种是训练集K折,留出单独一份测试集。不能说哪方对哪方错。选择适合数据的就是对。
所以针对单独留出一份测试集的做法,可以按照定义使用McNemar检验

1.4 基于对深度学习模型检测下的检测数据要求:

数据:两个对比模型的检测结果与样本对比后的结果(0,1)(0,1表征 T or F)

要求:两数据配对,数据完整,不可改变数据顺序

二、使用SPSS的McNemar检验

我们需要对问题进行定义,然后再进行检验。

2.1 前置

在统计假设检验中,I 型错误是错误地拒绝实际为真的零假设。
对于只能执行一次的算法,McNemar 的测试是唯一具有可接受的 I 类错误的测试。

2.2 问题定义

问题:两个深度学习模型在同一测试集下的性能是否有差异性
白话,A比B模型优秀,但是我想知道A比B的优秀是具有统计学意义的。
此时的零假设:
A和B模型在性能上的差异不具有统计学意义,即差异不显著

要拒绝零假设,那么我们最后的检验p值要小于0.05
在这里插入图片描述

2.3 使用SPSS

2.3.1 非参数检验-相关样本

在这里插入图片描述

2.3.2 选择要比较的模型

在这里插入图片描述

然后运行

2.3.3 看结果

在这里插入图片描述

拒绝原假设,模型有差异性

参考文章:

ml-mastery-zh/docs/stat/mcnemars-test-for-machine-learning.md at master · apachecn/ml-mastery-zh · GitHub

McNemar’s检验(配对卡方检验):多种操作教程,总有一个适合你! - 知乎 (zhihu.com)
https://zhuanlan.zhihu.com/p/89205077

泛化性能的比较检验-4-McNemar检验(周志华西瓜书解析) - 知乎 (zhihu.com)
https://blog.csdn.net/orDream/article/details/122540099

SPSS详细操作:配对卡方检验(McNemar’s test) (qq.com)
https://mp.weixin.qq.com/s?__biz=MzI2OTQyMzc5MA==&mid=2247490227&idx=1&sn=16788997b4de52293942da8f40feb76c&chksm=eae1df72dd96566418535e93c537f5df90b2fbc2fa6e4702d4a8c0ce502cddec7f9b3d30b6e1&scene=21#wechat_redirect

麦克尼马尔检验(McNemar test)-CSDN博客
https://blog.csdn.net/orDream/article/details/122540099

如有不足,还请各位大佬指正!

这篇关于使用SPSS的McNemar检验两种深度学习模型的差异性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/489065

相关文章

springboot security使用jwt认证方式

《springbootsecurity使用jwt认证方式》:本文主要介绍springbootsecurity使用jwt认证方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录前言代码示例依赖定义mapper定义用户信息的实体beansecurity相关的类提供登录接口测试提供一

go中空接口的具体使用

《go中空接口的具体使用》空接口是一种特殊的接口类型,它不包含任何方法,本文主要介绍了go中空接口的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录接口-空接口1. 什么是空接口?2. 如何使用空接口?第一,第二,第三,3. 空接口几个要注意的坑坑1:坑2:坑3:接口-空接口1. 什么是空接

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

Spring Boot3虚拟线程的使用步骤详解

《SpringBoot3虚拟线程的使用步骤详解》虚拟线程是Java19中引入的一个新特性,旨在通过简化线程管理来提升应用程序的并发性能,:本文主要介绍SpringBoot3虚拟线程的使用步骤,... 目录问题根源分析解决方案验证验证实验实验1:未启用keep-alive实验2:启用keep-alive扩展建

Docker镜像pull失败两种解决办法小结

《Docker镜像pull失败两种解决办法小结》有时候我们在拉取Docker镜像的过程中会遇到一些问题,:本文主要介绍Docker镜像pull失败两种解决办法的相关资料,文中通过代码介绍的非常详细... 目录docker 镜像 pull 失败解决办法1DrQwWCocker 镜像 pull 失败解决方法2总

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子