本文主要是介绍结构化数据转换方式之一:box-cox转换,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
之前在《笔记︱信用风险模型(申请评分、行为评分)与数据准备(违约期限、WOE转化)》中提到过WOE转换,WOE转换=分箱法=Logit值,与等深、等宽不同是根据被解释变量来重新定义一个WOE值
笔者将其定位于对自变量的数据转换。
现在来看看对于因变量的数据转换:BOX-COX转换。
内容主要参考交大的课件:BoxCox-变换方法及其实现运用.pptx
优势:
- 线性回归模型满足线性性、独立性、方差齐性以及正态性的同时,又不丢失信息,此种变换称之为Box—Cox变换。
- 误差与y相关,不服从正态分布,于是给线性回归的最小二乘估计系数的结果带来误差
- 使用Box-Cox变换族一般都可以保证将数据进行成功的正态变换,但在二分变量或较少水平的等级变量的情况下,不能成功进行转换,此时,我们可以考虑使用广义线性模型,如LOGUSTICS模型、Johnson转换等。
- Box-Cox变换后,残差可以更好的满足正态性、独立性等假设前提,降低了伪回归的概率
其中:
在一些情况下(P值<0.003)上述方法很难实现正态化处理,所以优先使用Box-Cox转换,但是当P值>0.003时两种方法均可,优先考虑普通的平方变换。
**此时的检验步骤为:**先对数据进行正态性检验 -> 观察检验的P值 -> 根据P值挑选合适的box-cox转换函数
常规的经济学转换方式:
log,对数转换,是使用最多的(数据必须大于0)
还有:
平方根转换
倒数转换
平方根后取倒数
平方根后再取反正弦
幂转换
Box-Cox变换的正态变换:
数据不比大于>0
没有Box-Cox变换的回归:
Box-Cox变换之后的回归:
这篇关于结构化数据转换方式之一:box-cox转换的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!