7.4 補足：最尤推定法の紹介

最尤法では、あるデータが与えられたときに、そのような情報が得られる確率が最も高くなる（最も尤もらしくなる）ようにパラメータの値を求める方法である。この尤もらしさを尤度と呼び、得られたデータを尤度が最大になる（最もうまく説明できる）ようにパラメータを推定する。

一般的に、パラメータ \(\theta\) を含む確率密度 \(f(x,\theta)\) からの無作為標本\({x_1,..., x_n}\) を得た時、これに対する以下のような同時確率密度関数をパラメータ \(\theta\) に関する尤度関数と見做す。

\[ L(\theta)=f(x_1,\theta)\times f(x_2,\theta)\times...\times f(x_n,\theta) \] そして、これを最大にするように \(\theta\) の推定値を求める方法が最尤法であり、ここで得る推定量を最尤推定量（Maximum Likelihood Estimator: MLE）と呼ぶ。 実際の分析においては、尤度関数の自然対数を取った以下のような対数尤度関数を用いる事が多い。

\[ LL(\theta)=\sum^n_{i=1}\ln f(x_i,\theta) \] 対数尤度と尤度を最大にする \(\theta\) は数学的には等しく、対数尤度を用いたほうが、計算が容易であることから、対数尤度が用いられる。

前節で確認したプロビットモデル（(7.1)）の対数尤度関数は、以下のように求まる。

\[\begin{equation} LL_i(\theta)=y_i\Big(\ln[\Phi(\beta_0+\beta_1x_{1i}+...+\beta_kx_{ki})] \Big)+ (1-y_i)\Big(\ln[1-\Phi(\beta_0+\beta_1x_{1i}+...+\beta_kx_{ki})]\Big) \tag{7.5} \end{equation}\]

式 (7.5) は個人 \(i\) に関する対数尤度であるため、データ全体をうまく説明するパラメータを推定するためには、個別対数尤度の和（\(\sum^n_{i=1}LL_i\)）を最大化するような係数パラメータ（\(\beta_0,\beta_1,..., \beta_k\)）の推定値（\(\hat{\beta}_0,\hat{\beta}_1,..., \hat{\beta}_k\)）を計算する。