本文主要是介绍n折交叉验证结果中的+-怎么算的? 标准差?有偏估计?无偏估计?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
n折交叉验证的结果怎么写
Q:这种实验结果里的±是怎么写出来的呢?
A:均值± 标准差
标准差
百度标准差的时候,发现了这两个公式。差别是,后者是无偏估计量。
无偏估计
那么什么是无偏估计呢?下面三个链接很好的解释了:
为什么分母从n变成n-1之后,就从【有偏估计】变成了【无偏估计】?
为什么样本方差(sample variance)的分母是 n-1?
为什么样本方差(sample variance)的分母是 n-1?
下面自己总结总结~
个人理解:
- 首先,我们要看看方差是怎么计算的: E [ 1 n ∑ i = 1 n ( X i − μ ) 2 ] = σ 2 \mathbb{E}\left[\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right]=\sigma^{2} E[n1∑i=1n(Xi−μ)2]=σ2。
- 此时候是无偏估计的,但当我们用 X ˉ \bar{X} Xˉ替换 u u u后,将倾向于低估方差。
1 n ∑ i = 1 n ( X i − X ˉ ) 2 = 1 n ∑ i = 1 n [ ( X i − μ ) + ( μ − X ˉ ) ] 2 = 1 n ∑ i = 1 n ( X i − μ ) 2 + 2 n ∑ i = 1 n ( X i − μ ) ( μ − X ˉ ) + 1 n ∑ i = 1 n ( μ − X ˉ ) 2 = 1 n ∑ i = 1 n ( X i − μ ) 2 + 2 ( X ˉ − μ ) ( μ − X ˉ ) + ( μ − X ˉ ) 2 = 1 n ∑ i = 1 n ( X i − μ ) 2 − ( μ − X ˉ ) 2 \begin{aligned} \frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2} &=\frac{1}{n} \sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)+(\mu-\bar{X})\right]^{2} \\ &=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+\frac{2}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)(\mu-\bar{X})+\frac{1}{n} \sum_{i=1}^{n}(\mu-\bar{X})^{2} \\ &=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+2(\bar{X}-\mu)(\mu-\bar{X})+(\mu-\bar{X})^{2} \\ &=\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-(\mu-\bar{X})^{2} \end{aligned} n1i=1∑n(Xi−Xˉ)2=n1i=1∑n[(Xi−μ)+(μ−Xˉ)]2=n1i=1∑n(Xi−μ)2+n2i=1∑n(Xi−μ)(μ−Xˉ)+n1i=1∑n(μ−Xˉ)2=n1i=1∑n(Xi−μ)2+2(Xˉ−μ)(μ−Xˉ)+(μ−Xˉ)2=n1i=1∑n(Xi−μ)2−(μ−Xˉ)2
从公式可以看出,除非均值 X ˉ \bar{X} Xˉ与期望 u u u是相等的,否则会导致对方差的低估。 - 我们也可以通过一个例子说明为什么样本均值 X ˉ \bar{X} Xˉ与期望 u u u是不相等的:掷骰子,点数的期望是 3.5, 是一个确定的数字,但是实际投掷n次取平均并不一定等于3.5。
- 因此,为了不要低估方差,就把分母从 n n n换成 n − 1 n-1 n−1。具体来说,需要用一个 n n − 1 \frac{n}{n-1} n−1n的因子来进行修正:
E ( S 1 2 ) = 1 n ∑ i = 1 n E ( ( X i − X ˉ ) 2 ) = 1 n E ( ∑ i = 1 n ( X i − μ + μ − X ˉ ) 2 ) = 1 n E ( ∑ i = 1 n ( ( X i − μ ) 2 − 2 ( X i − μ ) ( X ˉ − μ ) + ( X ˉ − μ ) 2 ) ) = 1 n E ( ∑ i = 1 n ( X i − μ ) 2 − 2 ∑ i = 1 n ( X i − μ ) ( X ˉ − μ ) + n ( X ˉ − μ ) 2 ) = 1 n E ( ∑ i = 1 n ( X i − μ ) 2 − 2 n ( X ˉ − μ ) ( X ˉ − μ ) + n ( X ˉ − μ ) 2 ) = 1 n E ( ∑ i = 1 n ( X i − μ ) 2 − n ( X ˉ − μ ) 2 ) = 1 n ( ∑ i = 1 n E ( ( X i − μ ) 2 ) − n E ( ( X ˉ − μ ) 2 ) ) = 1 n ( n Var ( X ) − n Var ( X ˉ ) ) = Var ( X ) − Var ( X ˉ ) = σ 2 − σ 2 n = n − 1 n σ 2 \begin{aligned} E\left(S_{1}^{2}\right) &=\frac{1}{n} \sum_{i=1}^{n} E\left(\left(X_{i}-\bar{X}\right)^{2}\right)=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu+\mu-\bar{X}\right)^{2}\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(\left(X_{i}-\mu\right)^{2}-2\left(X_{i}-\mu\right)(\bar{X}-\mu)+(\bar{X}-\mu)^{2}\right)\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 \sum_{i=1}^{n}\left(X_{i}-\mu\right)(\bar{X}-\mu)+n(\bar{X}-\mu)^{2}\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-2 n(\bar{X}-\mu)(\bar{X}-\mu)+n(\bar{X}-\mu)^{2}\right) \\ &=\frac{1}{n} E\left(\sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-n(\bar{X}-\mu)^{2}\right) \\ &=\frac{1}{n}\left(\sum_{i=1}^{n} E\left(\left(X_{i}-\mu\right)^{2}\right)-n E\left((\bar{X}-\mu)^{2}\right)\right) \\ &=\frac{1}{n}(n \operatorname{Var}(X)-n \operatorname{Var}(\bar{X})) \\ &=\operatorname{Var}(X)-\operatorname{Var}(\bar{X})=\sigma^{2}-\frac{\sigma^{2}}{n}=\frac{n-1}{n} \sigma^{2} \end{aligned} E(S12)=n1i=1∑nE((Xi−Xˉ)2)=n1E(i=1∑n(Xi−μ+μ−Xˉ)2)=n1E(i=1∑n((Xi−μ)2−2(Xi−μ)(Xˉ−μ)+(Xˉ−μ)2))=n1E(i=1∑n(Xi−μ)2−2i=1∑n(Xi−μ)(Xˉ−μ)+n(Xˉ−μ)2)=n1E(i=1∑n(Xi−μ)2−2n(Xˉ−μ)(Xˉ−μ)+n(Xˉ−μ)2)=n1E(i=1∑n(Xi−μ)2−n(Xˉ−μ)2)=n1(i=1∑nE((Xi−μ)2)−nE((Xˉ−μ)2))=n1(nVar(X)−nVar(Xˉ))=Var(X)−Var(Xˉ)=σ2−nσ2=nn−1σ2
这个公式还是写的很清楚,很好理解~
补充:很多资料都提到了自由度这一概念,“自由度”来源于卡方分布,表示 n n n个正态随机变量的平方和,链接里讲的比较清楚,不过我看不懂,就不在这里深入了。
这篇关于n折交叉验证结果中的+-怎么算的? 标准差?有偏估计?无偏估计?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!