本文主要是介绍估计理论(3)：充分统计量的完备性，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
文章目录
- 1、CRLB
- 【定理3.1：标量参数的CRLB】
- 2、线性模型
- 【定理4.1：线性模型的最小方差无偏估计】
- 3、一般最小方差无偏估计
- 【定理5.2：Rao-Blackwell-Lehmann-Scheffe,RBLS】
- 3.1 什么是充分统计量？
- 3.2 如何找到充分统计量？
- 【定理5.1：Neyman-Fisher因式分解】
- 3.3 什么是充分统计量的完备性？
- 4、总结：求解MVU估计的过程
根据下面两个定理，我们知道如果能够找到CRLB界，或者对于线性模型，都能够很容易找到MVU估计。
1、CRLB
【定理3.1：标量参数的CRLB】
假设概率密度函数满足正则条件
E [ ∂ ln p ( x ; θ ) ∂ θ ] = 0 ， {\rm E}\left[\frac{\partial \ln p({\bf x};\theta)}{\partial \theta}\right]=0， E[∂θ∂lnp(x;θ)]=0，
例如， x [ n ] = θ + w [ n ] x[n]=\theta+w[n] x[n]=θ+w[n]，其中的 N N N个样本 { x [ 1 ] , x [ 2 ] , … x [ N ] } \{x[1],x[2],\ldots x[N]\} {x[1],x[2],…x[N]}，构成观测数据向量 x \bf x x，因此有概率密度函数为 p ( x ; θ ) p({\bf x};\theta) p(x;θ)。上面式子中对 p ( x ; θ ) p({\bf x};\theta) p(x;θ)求期望。
则任何无偏估计 θ ^ \hat \theta θ^都满足
v a r ( θ ^ ) ≥ 1 − E [ ∂ 2 ln p ( x ; θ ) ∂ θ 2 ] . (3.6) \tag{3.6} {\rm var}(\hat \theta)\ge \frac{1}{-{\rm E}\left[\frac{\partial^2\ln p({\bf x};\theta)}{\partial \theta^2} \right]}. var(θ^)≥−E[∂θ2∂2lnp(x;θ)]1.(3.6)进一步，当且仅当
∂ ln p ( x ; θ ) ∂ θ = I ( θ ) [ g ( x ) − θ ] , (3.7) \tag{3.7} \frac{\partial \ln p({\bf x};\theta) }{\partial \theta}=I(\theta)[g({\bf x})-\theta], ∂θ∂lnp(x;θ)=I(θ)[g(x)−θ],(3.7)有可能找到在所有 θ \theta θ值上达到(3.6)的界的无偏估计，这里 g ( ⋅ ) g(\cdot) g(⋅)和 I ( ⋅ ) I(\cdot) I(⋅)为某个函数。此时，该估计 θ ^ = g ( x ) \hat \theta=g({\bf x}) θ^=g(x)为MVU估计，最小方差为 1 / I ( θ ) 1/I(\theta) 1/I(θ)。
显然，如果（3.7）能够成立，则CRLB可达，且能够得到MVU估计。
2、线性模型
【定理4.1：线性模型的最小方差无偏估计】
如果观察到的数据可以建模为
x = H θ + w , (4.8) \tag{4.8} \bf x=H\bm \theta+w, x=Hθ+w,(4.8)其中 x \bf x x为 N × 1 N\times 1 N×1维观测向量， H \bf H H为已知 N × p N\times p N×p维观测矩阵（这里 N > p N>p N>p， p p p为矩阵的秩）， θ \bm \theta θ为 p × 1 p\times 1 p×1维的待估计参数矩阵， w ∼ N ( 0 , σ 2 I ) \bf w\sim {\mathcal N}(0,\sigma^2I) w∼N(0,σ2I)为 N × 1 N\times 1 N×1维的噪声向量，因此可以得到MVU估计为
θ ^ = ( H T H ) − 1 H T x (4.9) \tag{4.9} \hat \bm \theta=({\bf H}^{\rm T}{\bf H})^{-1}{\bf H}^{\rm T}{\bf x} θ^=(HTH)−1HTx(4.9)且 θ ^ \hat \bm \theta θ^的协方差矩阵为
C θ ^ = σ 2 ( H T H ) − 1 . (4.10) \tag{4.10} {\bf C}_{\hat \bm \theta}=\sigma^2({\bf H}^{\rm T}{\bf H})^{-1}. Cθ^=σ2(HTH)−1.(4.10)对于线性模型，MVU估计是高效的，因为其达到了CRLB界。
对于线性模型，可以很容易得到其CRLB和MVU估计。
3、一般最小方差无偏估计
现在我们面对的问题是，如果不存在高效估计(即达到CRLB的估计)，那么如何找到MVU估计？当然前提是MVU估计确实存在的情况下。因此引出RBLS定理。
【定理5.2：Rao-Blackwell-Lehmann-Scheffe,RBLS】
如果 θ ˇ \check \theta θˇ为 θ \theta θ的无偏估计， T ( x ) T(\bf x) T(x)为 θ \theta θ的充分统计量，则 θ ^ = E ( θ ˇ ∣ T ( x ) ) \hat \theta={\rm E}(\check \theta|T(\bf x)) θ^=E(θˇ∣T(x))为
- θ \theta θ的有效估计（与 θ \theta θ独立）；
- 无偏的；
- 其方差小于或等于 θ ˇ \check \theta θˇ，for all θ \theta θ.
进一步，如果充分统计量是完备的，则 θ ^ \hat \theta θ^为MVU估计。
这个定理是说，如果我们能够得到完备的充分统计量，就可以找到无偏估计。定理中有两个重要的概念，第一个是充分统计量，第二个是完备性，下面我们分别来看看。
3.1 什么是充分统计量？
考虑我们需要对参数 A A A进行估计，得到的观测数据为 x {\bf x} x，因此有PDF为 p ( x ; A ) , p({\bf x};A), p(x;A),现在假设我们有统计量 T ( x ) T(\bf x) T(x)，为了判断它是不是充分统计量，我们就需要得到条件PDF
p ( x ∣ T ( x ) ; A ) p({\bf x}|T({\bf x});A) p(x∣T(x);A)来表示在观测到统计量 T ( x ) T(\bf x) T(x)之后的条件PDF。显然，如果 T ( x ) T(\bf x) T(x)是充分统计量，则这个条件PDF就应该独立于 A A A，否则的话，就说明还有些有关 A A A的信息没有包含在 T ( x ) T(\bf x) T(x)里面。因此，为了判断统计量是否是充分的，就需要确定这个条件PDF，并且证实其独立于 A A A。
所谓充分统计量，就是把待估计参数的所有信息都包含在内。为了证明这一点，就需要证实这个条件PDF与 A A A无关。
3.2 如何找到充分统计量？
下面的定理可以用来找到充分统计量。
【定理5.1：Neyman-Fisher因式分解】
如果我们能够把PDF进行如下分解
p ( x ; θ ) = g ( T ( x ) , θ ) h ( x ) , (5.3) \tag{5.3} p({\bf x};\theta)=g(T(\bf x),\theta)h(\bf x), p(x;θ)=g(T(x),θ)h(x),(5.3)其中 g g g为只通过 T ( x ) T(\bf x) T(x)依赖于 x \bf x x的函数， h h h为只依赖于 x \bf x x的函数，则 T ( x ) T(\bf x) T(x)为 θ \theta θ的充分统计量。反之，如果 T ( x ) T(\bf x) T(x)为充分统计量，则PDF可以分解为(5.3)。
3.3 什么是充分统计量的完备性？
具体来说，如果充分统计量 T ( x ) T(\bf x) T(x)只有唯一的一个函数是无偏的，我们就说 T ( x ) T(\bf x) T(x)是完备的。在【定理5.2】中，则 θ ^ = E ( θ ˇ ∣ T ( x ) ) \hat \theta={\rm E}(\check \theta|T(\bf x)) θ^=E(θˇ∣T(x))为 θ \theta θ的MVU估计。
Fig.5.2中，实线内部区域表示所有无偏估计的集合。通过确定 E ( θ ˇ ∣ T ( x ) ) {\rm E}(\check \theta|T(\bf x)) E(θˇ∣T(x))，我们可以减小估计方差（定理5.2的性质3），并且仍然保持在集合内（性质2）。但是， E ( θ ˇ ∣ T ( x ) ) {\rm E}(\check \theta|T(\bf x)) E(θˇ∣T(x))仅为充分统计量 T ( x ) T(\bf x) T(x)的一个函数，这是因为
θ ^ = E ( θ ˇ ∣ T ( x ) ) = ∫ θ ˇ p ( θ ˇ ∣ T ( x ) ) d θ ˇ = g ( T ( x ) ) . \hat \theta={\rm E}(\check \theta|T({\bf x}))=\int \check \theta p(\check \theta|T({\bf x}))d\check \theta=g(T({\bf x})). θ^=E(θˇ∣T(x))=∫θˇp(θˇ∣T(x))dθˇ=g(T(x)).
如果 T ( x ) T(\bf x) T(x)为完备的，意味着只有 T ( x ) T(\bf x) T(x)的一个函数是无偏的。因此 θ ^ \hat \theta θ^是唯一的，独立于我们从图5.2的集合中选择的 θ ˇ \check \theta θˇ。所有的 θ ˇ \check \theta θˇ都映射到相同的 θ ^ \hat \theta θ^。由于 θ ^ \hat \theta θ^的方差必须小于集合中所有 θ ˇ \check \theta θˇ的方差（性质3），因此 θ ^ \hat \theta θ^一定是MVU估计。
因此，如果 T ( x ) T(\bf x) T(x)为完备的，只要能够找到它的函数得到无偏估计（一定也是唯一的一个），就是它的MVU估计。
4、总结：求解MVU估计的过程
过程如下：
- 基于Neyman-Fisher因式分解定理，找到 θ \theta θ的充分统计量 T ( x ) T({\bf x}) T(x)；
- 确定 T ( x ) T({\bf x}) T(x)是否为完备的，如果是，则继续；否则，停止。
我们用下面条件验证充分统计量 T T T完备。
如果
∫ − ∞ ∞ v ( T ) p ( T ; θ ) d T = 0 f o r a l l θ (5.8) \tag{5.8} \int_{-\infty}^{\infty}v(T)p(T;\theta)dT=0\ {\rm for \ all}\ \theta ∫−∞∞v(T)p(T;θ)dT=0 for all θ(5.8)只在 v ( T ) = 0 v(T)=0 v(T)=0的时候成立，则 T T T为完备的。
3.找到函数 g g g，使得 θ ^ = g ( T ( x ) ) \hat \theta=g(T({\bf x})) θ^=g(T(x))为无偏的，则 θ ^ \hat \theta θ^为MVU估计。
3’ θ ^ = E ( θ ˇ ∣ T ( x ) ) \hat \theta={\rm E}(\check \theta|T({\bf x})) θ^=E(θˇ∣T(x))，这里 θ ˇ \check \theta θˇ为无偏估计。
由于确定条件PDF太繁琐，所以3’不常用。
这篇关于估计理论(3)：充分统计量的完备性的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
