点估计的优良准则

设总体的分布包含未知参数 $\theta_1,\dots,\theta_k$ ， $X_1,\dots,X_n$ 是从总体中抽出的样本， 要估计 $g(\theta_1,\dots,\theta_k)$ 。 $g$ 为一已知函数。 设 $\hat{g}(X_1,\dots,X_n)$ 是一个估计量，如果对任何可能的 $(\theta_1,\dots,\theta_k)$ ，都有： $$ E_{\theta_1,\dots,\theta_k}[\hat{g}(X_1,\dots,X_n)]=g(\theta_1,\dots,\theta_k) $$ 则称 $\hat{g}$ 是 $g$ 的一个无偏估计量。

无偏估计不等于在任何时候都给出正确无误的估计，而是不论你用什么样的估计量 $\hat{g}$ 去估计 $g$ ， 把这些正、负偏差在概率上平均起来，其值为 0 。

样本均值 $\bar{X}$ 是总体分布均值 $\theta$ 的无偏估计。 样本方差 $S^2$ 是总体分布方差 $\sigma^2$ 的无偏估计。

设 $X_1,\dots,X_n$ 是从某一带参数 $\theta$ 的总体中抽出的样本，要估计 $\theta$ 。 若我们采用估计量 $\hat{\theta}=\hat{\theta}(X_1,\dots,X_n)$ ，则其误差为 $\hat{\theta}-\theta$ 。 这个误差是随样本的具体值而定的，也是随机的。 我们将其平方一消除符号，然后取均值，得到： $$ M_{\hat{X}}(\theta)=E_{\theta}[\hat{\theta}(X_1,\dots,X_n)-\theta]^2 $$ 这个误差越小，估计值越优。

设总体分布依赖于参数 $\theta_1,\dots,\theta_k$ ， $g(\theta_1,\dots,\theta_k)$ 是 $\theta_1,\dots,\theta_k$ 的给定函数。 设 $X_1,\dots,X_n$ 是从总体中抽出的样本， $T(X_1,\dots,X_n)$ 是 $g$ 的一个估计量。 如果对任给 $\epsilon>0$ ，有： $$ lim_{n\rightarrow\infty}P_{\theta_1,\dots,\theta_k}(|T(X_1,\dots,X_n)-g(\theta_1,\dots,\theta_k)|\geq\epsilon)=0 $$ 且这对 $(\theta_1,\dots,\theta_k)$ 一切可能取的值都成立，则称 $T$ 为 $g$ 的相合估计。

当样本大小 $n\rightarrow\infty$ 时，其分布趋于正态分布。