非量表题如何进行信效度分析

2024-05-30 05:44
文章标签 分析 进行 量表 信效度

本文主要是介绍非量表题如何进行信效度分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

效度是指设计的题确实在测量某个东西,一般问卷中使用到。如果是量表类的数据,其一般是用因子分析这种方法去验证效度水平,其可通过因子分析探究各测量量表的内部结构情况,分析因子分析得到的内部结构与自己预期的内部结构进行对比,进而判断效度情况。
但如果本身数据不是量表,比如都是些选择题,这些测量项是否有效地测量对应的概念(变量或维度信息),此时无法使用因子分析,此时可考虑使用内容效度,内容效度的概念较为广泛,其是指测量项真实可以测量的文字分析佐证,比如来源于某文献或者得到专家的认可等。本文档则是指专家打分数据的数字化结果论证,将专家打分数据收集后分析,利用实际指标来判断内容效度。

内容效度案例

1、背景
某研究者新设计一份问卷,希望通过专家打分方式来判断其有效性,避免个人主观臆断情况,研究者共设计出20个测量项(即20个题),并且找到8位该研究领域的专家进行打分(专家打分只能为1/2/3/4共4个分值,1分代表较差,2分表示一般,3分表示较好,4分表示良好)并且整理得到数据结果如下图所示。

需要提示的是:打分分值只能为1/2/3/4共4个数字,这是由当前算法决定,如果不是这样,系统会提示‘专家打分只能为1/2/3/4分!’。以及第1列测量项的名称可修改为实际的名称,第1行的专家1/2/3等也可修改为实际的专家名称。

2、理论
SPSSAU中内容效度的计算参考文献来源如下:

史静琤, 莫显昆, & MO Xiankun. (2012). 量表编制中内容效度指数的应用. 中南大学学报:医学版, 37(2), 4.
柯友枝, 孙建刚, 李博, & 刘阳. (2023). 问卷是否有效—基于2010-2020年cssci收录体育期刊文献的系统分析. 上海体育学院学报, 47(2), 37-47.

内容效度的计算上较为简单,专家打分只能为1/2/3/4分,3/4分表示测量项较好或者好,那么首先计算出每项时打分为3/4分的专家数量,从而得到打分为3/4分的占比情况(即I-CVI指标),该指标值越大越好,可使用该指标进行内容效度判断,其判断标准如下表格:

专家数量判断标准
<=5个专家时I-CVI<1小于1则不通过I-CVI=1则通过
>5个专家时I-CVI<1小于0.78则不通过I-CVI>=0.78则通过


当专家个数小于等于5个时即专家个数较少时,此时希望专家打分均为3/4分。如果专家个数大于5个时即专家个数较多时,此时只要78%的专家打分为3/4分即可。
与此同时,为防止专家打分出现随机性,还可计算专家打分随机一致性概率Pc值,并且计算校正内容效度(调整Kappa,K*值),进一步进行内容效度判断。专家打分随机一致性指标的目的在于衡量专家打分的独立性,比如10个专家全部都打4分的概率一般较低,那么如果出现了就需要校正它,即计算调整 Kappa值。专家打分随机一致性概率Pc值=C(n,A)*(0.5^n),此处n表示专家总数量,A表示某测量项时专家打分为3/4的个数,C表示数学上的组合计算。得到专家打分随机一致性概率Pc值后,接着计算校正内容效度即调整Kappa值(K*值),调整Kappa值=(I-CVI值 – Pc值) / (1 – Pc值),如果是正常的专家打分数据,Pc值通常较高,最后结合调整Kappa值进行内容效度判断,其判断标准如下表格:

调整Kappa(K*值)判断标准
<0.4
[0.4, 0.6)一般
[0.6, 0.74)良好
[0.74, 1)优秀


调整Kappa值越大越好,一般大于0.6即说明内容效度良好,但如果调整Kappa值小于0.4则无法接受。I-CVI指标是针对具体每测量项,当然还可计算全部一起的测量项,比例本文档所述共20个测量项全部一起时的整体内容效度情况,其有两个指标,分别全体一致S-CVI(也称S-CVI或UA值),还有平均S-CVI指标值。全体一致S-CVI = 打分全部都为3/4的测量项个数 / 总测量项个数,其用于判断到底有多少测量项均全部是3/4分,通常其判断标准是0.8,即需要有80%以上的测量项全部都被专家认为是良好或者好才行。而平均一致S-CVI则是I-CVI指标的算术平均值而已,其通常标准为0.9,即需要平均来看I-CVI指标大于0.9才可以。一般情况下可能使用I-CVI较多。

3、操作
本例子操作如下图:

直接将SPSSAU默认数据进行粘贴替换即可。

4、SPSSAU输出结果
SPSSAU共输出3个表格,分别是测量项内容效度专家评分及指标计算、整体内容效度(S-CVI)和不同专家人数各情况下I-CVI的评估速查表。如下述:

表格说明
测量项内容效度专家评分及指标计算输出I-CVI指标及校正内容效度(调整Kappa值)等,用于每个测量项的内容效度判断
整体内容效度(S-CVI)输出全体一致S-CVI(也称S-CVI或UA值),平均S-CVI指标值,用于整体内容效度判断
不同专家人数各情况下I-CVI的评估速查表其为一个评估速查表,包括3~9个打分专家时的I-CVI合格临界值及调整Kappa合格临界值等信息

5、文字分析
本次案例结果分别如下:

上表格可以看到,共有20个测量项并且8个专家进行打分,8个专家对20个测量项打分为3/4的次数是152,即仅有8次是打分1或2。具体来看,测量项13为校正内容效度为一般,测量项13时,共有5个专家打分为3/4分,还有3个专家均打2分。其I-CVI=5/8=0.625<0.78,因而I-CVI不通过即内容效度不达标。与此同时Pc值=C(8,5)*(0.5^8)=0.21875,调整Kappa=(0.625-0.21875)/(1-0.21875)=0.52,介于0.4到0.6之间,意味着调整内容效度一般。通常情况下建议使用调整内容效度即针对调整Kappa值进行判断,因为调整Kappa值将专家打分独立性纳入考虑范畴。

上表格展示整体内容效度的两个指标,分别是全体一致S-CVI和平均S-CVI指标。计算上,全体一致S-CVI=打分全部都为3/4的测量项个数 / 总测量项个数 = 14/20=0.7<0.8,因而不通过。如果是平均S-CVI指标,其为I-CVI指标的算术平均为0.95>=0.9,其通过。全体一致S-CVI指标衡量的是所有测量项整体内容效度情况,而平均S-CVI指标衡量的是平均内容效度,一般查阅全体一致S-CVI可能更加适合。

上表格展示不同专家数量时I-CVI的评价临界值,比如如果6个专家,那么如果评价为3/4的专家人数为4个则I-CVI为0.667则不通过(但此时调整Kappa值=0.565,调整内容效度通过),该表格仅为速查使用,无其它意义。

6、剖析

涉及以下几个关键点,分别如下:

S-CVI和调整Kaapa两个指标均是衡量内容效度,但二者结论可能不一致,此时建议以调整Kappa指标结果为准,因为该指标考虑专家打分独立性情况,通常更准确。

全体一致S-CVI和平均S-CVI指标这两个指标结论不一致,一般以全体一致S-CVI指标结论作为标准较多,因为平均S-CVI仅为I-CVI的算术平均而已。

这篇关于非量表题如何进行信效度分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1015724

相关文章

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java程序进程起来了但是不打印日志的原因分析

《Java程序进程起来了但是不打印日志的原因分析》:本文主要介绍Java程序进程起来了但是不打印日志的原因分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Java程序进程起来了但是不打印日志的原因1、日志配置问题2、日志文件权限问题3、日志文件路径问题4、程序

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字

QT进行CSV文件初始化与读写操作

《QT进行CSV文件初始化与读写操作》这篇文章主要为大家详细介绍了在QT环境中如何进行CSV文件的初始化、写入和读取操作,本文为大家整理了相关的操作的多种方法,希望对大家有所帮助... 目录前言一、CSV文件初始化二、CSV写入三、CSV读取四、QT 逐行读取csv文件五、Qt如何将数据保存成CSV文件前言

通过Spring层面进行事务回滚的实现

《通过Spring层面进行事务回滚的实现》本文主要介绍了通过Spring层面进行事务回滚的实现,包括声明式事务和编程式事务,具有一定的参考价值,感兴趣的可以了解一下... 目录声明式事务回滚:1. 基础注解配置2. 指定回滚异常类型3. ​不回滚特殊场景编程式事务回滚:1. ​使用 TransactionT

Java中使用Hutool进行AES加密解密的方法举例

《Java中使用Hutool进行AES加密解密的方法举例》AES是一种对称加密,所谓对称加密就是加密与解密使用的秘钥是一个,下面:本文主要介绍Java中使用Hutool进行AES加密解密的相关资料... 目录前言一、Hutool简介与引入1.1 Hutool简介1.2 引入Hutool二、AES加密解密基础

Python 迭代器和生成器概念及场景分析

《Python迭代器和生成器概念及场景分析》yield是Python中实现惰性计算和协程的核心工具,结合send()、throw()、close()等方法,能够构建高效、灵活的数据流和控制流模型,这... 目录迭代器的介绍自定义迭代器省略的迭代器生产器的介绍yield的普通用法yield的高级用法yidle

C++ Sort函数使用场景分析

《C++Sort函数使用场景分析》sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变,如果某些场景需要保持相同元素间的相对顺序,可使... 目录C++ Sort函数详解一、sort函数调用的两种方式二、sort函数使用场景三、sort函数排序

SpringSecurity6.0 如何通过JWTtoken进行认证授权

《SpringSecurity6.0如何通过JWTtoken进行认证授权》:本文主要介绍SpringSecurity6.0通过JWTtoken进行认证授权的过程,本文给大家介绍的非常详细,感兴趣... 目录项目依赖认证UserDetailService生成JWT token权限控制小结之前写过一个文章,从S