今回は機械学習において重要な定理の１つであるベイズの定理について紹介します。
ベイズの定理
ベイズの定理とは、以下のように条件付き確率を表現できることを示した定理になります。(条件付き確率については補足を参照)
p(y|x) = \frac{p(x|y)p(y)}{p(x)} \tag{1}
\end{equation}$$
式中の記号等の意味以下のようになります。
- \(p(x)\):\(x\)が起きる確率
- \(p(x|y)\):条件確率。\(y\)が起こった前提でxが起こる確率
ベイズの定理では、\(p(y|x)\)を事後確率と言います。
なぜなら、\(p(y|x)\)はxが起きた後（事後）のyの確率だからです。
また、\(p(y)\)を事前確率と言います。
\(p(y)\)は\(x\)が起きる前（事前）の確率なので、事前確率と呼ばれます。
このベイズの定理では、事後確率\(p(y|x)\)を事前確率\(p(y)\)を用いて、
計算できることが重要な点となります。
ベイズの定理の導出
式(1)の導出を行います。
まず、乗法定理の式変形をすると、 (乗法定理などは補足を参照してください)
p(y|x) = \frac{p(x, y)}{p(x)} \tag{2}
\end{equation}$$
になります。
次に同時確率の対称性と乗法定理から
(同時確率については補足を参照)
p(x, y)=p(y, x)=p(x|y)p(y) \tag{3}
\end{equation}$$
式(3)を式(2)に代入すると、ベイズの定理の式を導出することができます。
p(y|x) = \frac{p(x|y)p(y)}{p(x)}
\end{aligned}$$
補足（加法定理、乗法定理など）
ベイズの定理の導出を行うための、確率の基本的な加法定理と、乗法定理について紹介します。
以下の図を用いながら読み進めると直感的に理解できると思います。
参考文献の図と同様の図を用いています。
図中の変数については、
- \(x_j\):確率変数\(x_j \in x\)
- \(y_j\):確率変数\(y_j \in y\)
- \(n_{i, j}\)は、\(x_i, y_j\)が同時に発生した回数
同時確率
\(x_i, y_i\)が同時に起きる確率は、
図中の全マス目中の\(n_{ij}\)なので
p(x_i, y_i) = \frac{n_{ij}}{N}
\end{aligned}$$
\(N\)は全事象数\(N=\sum_{ij}n_{ij}\)を表しています。
条件付き確率
条件付き確率\(p(y_j | x_i)\)は、
\(x_i\)列のうちの\(y_j\)の比率なので、
以下の図で言えば緑の部分の内\(n_{ij}\)が占める割合ですので、
p(y_j | x_i) &= \frac{n_{ij}}{\sum_j n_{ij}} \\
&= \frac{n_{ij}}{N} \times \frac{N}{\sum_j n_{ij}} \\
&= \frac{p(x_i, y_j)}{p(x_i)}
\end{aligned}$$
加法定理（周辺化）
加法定理は\(p(y_j)\)を以下のように表現できる定理になります。
p(y_j) = \sum_i p(x_i, y_j) \tag{4}
\end{equation}$$
\(y_j\)の確率\(p(y_j)\)については、\(\sum_i n_{i, j} /N \)で求めることができます。 図を用いると直感的に理解できると思います。
\(y_j\)の確率は全体事象\(N\)のうちの、上の図の赤の部分\(\sum_i n_{i, j}\)であることがわかります。
p(y_j) = \frac{\sum_i n_{ij}}{N}
\end{aligned}$$
さらに式変形を進めれば、
&= \sum_i \frac{n_{ij}}{N} \\
&= \sum_i p(x_i, y_j)
\end{aligned}$$
式(4)の加法定理を求めることができました。
乗法定理
乗法定理は同時確率\(p(x, y)\)について以下が成り立つ定理です。
p(x, y) = p(y|x)p(x) \tag{5}
\end{equation}$$
なぜ式(5)が成り立つかを式展開して確認してみます。
p(x_i, y_j) &= \frac{n_{ij}}{N} \\
&= \frac{n_{ij}}{\sum_j n_{ij}} \times \frac{\sum_j n_{ij}}{N} \\
&= p(y_{j}|x_{i})p(x_i)
\end{aligned}$$
コメント