7.3 点推定

点推定は特定の推定量によって母数を捉えようとするが、どのような推定量を用いるべきなのだろうか。本節では、不偏性（unbiasedness）、一致性（consistency）、効率性（efficiency）という統計的に重要な推定量の性質について説明する。なお、以下の説明では、未知パラメータ \(\small \theta\)（シータ）に対する推定量 \(\small \hat{\theta}\)（シータハット）を考える。不偏性とは、推定量の「期待値」が未知パラメータの真の値に等しいという性質であり、以下のように示すことができる。

\[ E(\hat{\theta})=\theta \]

つまり、実際の推定量の実現値がどうかは置いておいて、期待値の下では推定量が未知パラメータを示していることを表すものであり、サンプルサイズに関係のない推定量の性質である。そして、不偏性を満たす推定量のことを不偏推定量（unbiased estimator）という。なお、上記の定義から、統計的なバイアス（B）は、以下のように定義できる。

\[ B=E(\hat{\theta})-\theta \]

第二に一致性とは、サンプルサイズが十分に大きいとき、推定量が未知パラメータの真の値と等しくなる確率が1に近づくという性質である。この性質について詳しく論じるには、漸近理論を学ぶ必要があるため、本書では詳細を省略するが、サンプルサイズを大きくすると未知パラメータの真の値に近づくような推定量を示した性質だと解釈できる。なお、任意の\(\small \epsilon >0\)（\(\small \epsilon\): イプシロン）に対して以下のような性質を持つ推定量を一致推定量という。

\[ \lim_{n\rightarrow \infty} P\left(|\hat{\theta}-\theta|\leq \epsilon \right)=1 \]

第三に効率性は、推定量の分散の小ささを示している。分散の小さい推定量の方が、期待値から離れた値を取りにくく、好ましい推定量と考えられる。複数の不偏推定量や一致推定量がある場合、効率性を元に好ましい推定量を考える。

なお、代表的な推定量である標本平均は母集団期待値の推定量として好ましい性質（不偏性と一致性）も持っている。以下では、期待値 \(\mu\)、分散 \(\sigma^2\) の確率分布に従う母集団からの無作為標本 \(\small X_1,...,X_n\)を考える（つまり、\(\small E(X)=\mu\), \(\small Var(X)=\sigma^2\)）。このとき、標本平均（\(\small \bar{X}\)）の普遍性は以下のように示すことができる。

\[ E(\bar{X})= \left[\frac{1}{n}(X_1+X_2+...+X_n)\right] = \frac{1}{n}~\left[E(X_1)+E(X_2)+...+E(X_n)\right] = \frac{1}{n}\cdot n\mu=\mu. \]

また標本平均の分散については、以下となることが知られている（計算は省略）。

\[ Var(\bar{X})=\frac{\sigma^2}{n} \]

上記と同様の無作為標本による標本平均の一致性については、任意の \(\small \epsilon>0\) に対していかが成り立つことが知られている。

\[ \lim_{n\rightarrow \infty}P(|\bar{X}-\mu|\leq \epsilon)=1 \] 言い換えると、サンプルサイズが増えることで標本平均 \(\small\bar{X}\) は母集団の真の平均 \(\small \mu\) と等しくなる確率が1に近づく。なお、標本平均がもつこの特性は「大数の法則（Law of Large Number）」として知られている。

また、標本平均はその分布の収束に関しても重要な特性を持っている。ここで、期待値 \(\small \mu\)、分散 \(\small \sigma^2\) を持つ確率分布に従う母集団からのn個の無作為標本 \(\small X_1,.., X_n\) を考える。サンプルサイズが十分に大きい場合、 \(\small \bar{X}\sim N(\mu,\sigma^2/n)\)（\(\small \bar{X}\) が平均 \(\small \mu\)、分散 \(\small \sigma^2/n\)の正規分布に従う）となることが知られている。この性質を「中心極限定理（Central Limit Theorem）」という（詳細な証明や定義は省略）。また、この定理を以下のような\(\small \bar{X}\) を標準化した確率変数に応用することも可能である。

\[ Z=\frac{\bar{X}-\mu}{\sqrt{\sigma^2/n}}\sim N(0,1) \] 中心極限定理より、サンプルサイズが十分に大きい場合、Z の分布関数は標準正規分布（N(0,1)）の分布関数に収束する。詳細については割愛するが、サンプルサイズが十分に大きい場合、「標本平均」や「標本平均を標準化した確率変数」の確率分布が正規分布や標準正規分布に近似できるという定理は、統計的な推定や検定において重要なものである。

また、母集団分散の推定量としては、不偏標本分散が使われる事が多い。上記と同じ無作為標本に対し、標本分散 \(S^2\) と、不偏標本分散 \(s^2\) は以下のように定義される。

\[ S^2=\frac{1}{n}\sum_{i=1}^n (X_i-\bar{X}) \]

\[ s^2=\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar{X}) \]

そして、それぞれの推定量の期待値は以下のようになることが知られている（計算省略）。そのため、母集団分散の推定量として、不偏標本分散（\(s^2\)）が用いられる。

\[ E(S^2)=\frac{n-1}{n}\sigma^2 \]

\[ E(s^2)=\sigma^2 \]