マイノート

いろいろ勉強したことをまとめていきます

MENU

最尤法

スライド

最尤法概要

最尤法とは、標本データから母集団の分布のパラメータを推定する手法である.

例えば、母集団が正規分布に従っているとした時に、平均 $\mu$ と分散 { \sigma ^2 }を推定したい時に用いる。

最尤法手順

一般的な手順を述べる。

1. 標本データの母集団がある分布に従っていると仮定する

2. 尤度関数L(x) を定義する.(離散型確率分布と連続型確率分布では異なる)

連続型確率分布では、確率密度関数の積で表す。 $$ L(x) = f(x_0) \cdot f(x_1) \cdots f(x_n) $$

3. 尤度関数L(x)を最大化するパラメータを求める

この三段階の手順でパラメータを推定していく。

最尤法の具体例(正規分布)

正規分布の平均 $\mu$ と分散  {\sigma^2} を最尤法により推定していく。

1. 標本データの母集団が 正規分布に従っていると仮定する

つまり、母集団の確率密度関数 { f(x,\mu,\sigma ^2)} が以下のようになる { f(x,\mu,\sigma ^2) }

{
\begin{equation}
f(x,\mu,\sigma^2) =  \frac{1}{ \sqrt{2 \pi \sigma^2}} e^{( \frac{- (x_i - \mu)^2}{2 \sigma^2})}
\end{equation}
}

平均 $\mu$ と 分散 {\sigma^2} を推定していく

2. 尤度関数を定義する

{
\begin{equation}
L(\mu,\sigma^2) = f(x_0,\mu,\sigma^2) \cdot  f(x_1,\mu,\sigma^2)  \cdots f(x_n,\mu,\sigma^2)
\end{equation}
} 今回は母集団は正規分布に従っていると仮定しているので、 {
\begin{equation}
 L(\mu,\sigma^2) =  \prod_{i=0}^{n} (\frac{1}{\sqrt{2 \pi \sigma^2}} e^{\frac{- (x_i - \mu)^2}{2 \sigma^2}})
\end{equation}
} となる。

3. 尤度関数を最大化するパラメータを求める

尤度関数が積では扱いにくいので、尤度関数の両辺に自然対数を取り、総和の形にする。 {
\begin{equation}
\ln L(\mu,\sigma^2) = \sum_{i=0}^{n} \ln{ (\frac{1}{\sqrt{2 \pi \sigma^2}} e^{\frac{- (x_i - \mu)^2}{2 \sigma^2}})}
\end{equation}
}

あとは、勾配が0になる点を求める。 平均 $\mu$は {
\begin{equation}
\frac{\partial  ln{L(\mu,\sigma^2) }}{\partial  \mu} = 0
\end{equation}
}

から、計算すると {
\begin{equation}
\tilde{\mu} = \frac{1}{n} \sum_{i=1}^{n} x_i
\end{equation}
} 分散 {\sigma^2}も同様に {
\begin{equation}
\frac{\partial  ln{L(\mu,\sigma^3) }}{\partial  \sigma^2} = 0
\end{equation}
}

{
\begin{equation}
\tilde{\sigma^2} = \frac{1}{n} \sum_{i=1}^{n} (x_i - \mu)^2
\end{equation}
}

というように、正規分布の平均と分散を推定することができる。

なぜ、尤度関数を最大化することで最適なパラメータを推定できるのか?

スライドで作成しました。 以下を参照してください。

参考文献

スバラシク実力がつくと評判の統計学キャンパス・ゼミ―大学の数学がこんなに分かる!単位なんて楽に取れる!