点估计的优良准则

Description

在考虑估计量的优劣时，必须从某种整体性能上去衡量它，而不是看它在个别样本之下的表现如何。 “整体性能”有两种意义： 一是指估计量的某种特性，具有这种特性就是好的，否则就是不好的。如“无偏性”就是这类特性。 二是指具体的数量性指标，两个数据量，标小者为优。

无偏性

设总体的分布包含未知参数 ${\theta }_1,\dots ,{\theta }_k$ ， $X_1,\dots ,X_n$ 是从总体中抽出的样本， 要估计 $g({\theta }_1,\dots ,{\theta }_k)$ 。 $g$ 为一已知函数。 设 $\hat{g}(X_1,\dots ,X_n)$ 是一个估计量，如果对任何可能的 $({\theta }_1,\dots ,{\theta }_k)$ ，都有：

$$E_{{\theta }_1,\dots ,{\theta }_k}[\hat{g}(X_1,\dots ,X_n)]=g({\theta }_1,\dots ,{\theta }_k)$$

则称 $\hat{g}$ 是 $g$ 的一个无偏估计量。

无偏估计不等于在任何时候都给出正确无误的估计，而是不论你用什么样的估计量 $\hat{g}$ 去估计 $g$ ， 把这些正、负偏差在概率上平均起来，其值为 0 。

样本均值 $\bar{X}$ 是总体分布均值 $\theta$ 的无偏估计。 样本方差 $S^2$ 是总体分布方差 ${\sigma }^2$ 的无偏估计。

最小方差无偏估计

设 $X_1,\dots ,X_n$ 是从某一带参数 $\theta$ 的总体中抽出的样本，要估计 $\theta$ 。 若我们采用估计量 $\hat{\theta }=\hat{\theta }(X_1,\dots ,X_n)$ ，则其误差为 $\hat{\theta }-\theta$ 。 这个误差是随样本的具体值而定的，也是随机的。 我们将其平方一消除符号，然后取均值，得到：

$$M_{\hat{X}}(\theta )=E_{\theta }[\hat{\theta }(X_1,\dots ,X_n)-\theta {]}^2$$

这个误差越小，估计值越优。

相合性

设总体分布依赖于参数 ${\theta }_1,\dots ,{\theta }_k$ ， $g({\theta }_1,\dots ,{\theta }_k)$ 是 ${\theta }_1,\dots ,{\theta }_k$ 的给定函数。 设 $X_1,\dots ,X_n$ 是从总体中抽出的样本， $T(X_1,\dots ,X_n)$ 是 $g$ 的一个估计量。 如果对任给 $ϵ>0$ ，有：

$$li{m}_{n\to \infty }{P}_{{\theta }_1,\dots ,{\theta }_k}(|T(X_1,\dots ,X_n)-g({\theta }_1,\dots ,{\theta }_k)|\ge ϵ)=0$$

且这对 $({\theta }_1,\dots ,{\theta }_k)$ 一切可能取的值都成立，则称 $T$ 为 $g$ 的相合估计。

渐进正态性

当样本大小 $n\to \infty$ 时，其分布趋于正态分布。