強化学習、マルチエージェント強化学習、その他機械学習全般

機械学習関連のことをまとめていきます。強化学習関連が多いかもしれません

MENU

進化的に安定な戦略(Evolutionarily Stable Strategy)

今回は進化ゲーム理論やマルチエージェント強化学習においても取り上げられる進化的に安定な戦略について紹介しようと思います。

進化的に安定な戦略

進化的に安定な戦略とは、 「ある戦略をとる個体で占められている集団があって、その集団に他の戦略をとる個体の侵入を許さいないような状態」のことを 進化的に安定な戦略(Evolutionarily Stable Strategy(ESS))と言います。

つまり、他の個体はこの集団に侵入できないので、
その個体は生き残り続ける状態のことですね

進化的に安定な戦略となる条件

進化的に安定な戦略を 数式で表現したいと思います。

$f(x, y)$は戦略$x$の個体が、 戦略$y$を選択している個体に出会った時の適応度(利得)を表しています。
この関数によって戦略$x$の個体が生き残る確率が決まります。

戦略$x$が進化的に安定な戦略とします。
進化的に安定な戦略になる条件は2種類あります。
1つ目が以下の状態を満たす時になります。

$$ \begin{eqnarray} f(y, x) < f(x, x) \ \ (x \neq y) \end{eqnarray} $$

$y$は$x$以外の戦略をもつ個体を表しています。
この時には$f(x, x)$のほうが$f(x, y)$より高いので、
xの集団のなかでは、yよりxがひたすら増加していきます。
つまり、yは生き残れません。この時にESSとなります。

2つ目の条件は、以下のようになる時です。 $$ \begin{eqnarray} f(y, x) = f(x, x) \\ f(y, y) < f(x, y)
\end{eqnarray} $$

まず第1式で、$x$集団の中では適応度は同じとなってます。これでは$x$が生き残れるかわかりません。 そこで、$y$集団の中で、どちらが有利かを確認します。
$y$集団の中においても$x$のほうが高いのであれば、
$x$の戦略をとる個体が生き残りますので、
進化的に安定な戦略となります。

補足

なぜ、上記の式がESSなのかを見てみます。

まず、$y$の戦略を取る個体が存在する確率を$p$、
$x$の戦略をとる個体が存在する確率を$1-p$とします。

この時、$y$の戦略をとる個体の適応度の期待値$\mathbb{E}[f(y)] $は以下のようになります。 $$ \begin{eqnarray} \mathbb{E}[f(y)] = p \cdot f(y, y) + (1-p) \cdot f(y, x) \end{eqnarray} $$ となっています。

同様にxの戦略をとる個体の適応度の期待値は以下のようになります。 $$ \begin{eqnarray} \mathbb{E}[f(x)] = p \cdot f(x, y) + (1-p) \cdot f(x, x) \end{eqnarray} $$

ここで、戦略xが進化的に安定であるならば、 $\mathbb{E}[f(x)] > \mathbb{E}[f(y)]$となります。

集団がxの戦略を取る個体で占められている時、つまり、pが小さい時を考えます。 (y集団の安定に関して議論したいので) この時にはpが小さいので、$\mathbb{E}[f(x)], \mathbb{E}[f(y)]$の右辺の第2項だけに注目し、$\mathbb{E}[f(x)] > \mathbb{E}[f(y)]$を見てみると $$ \begin{eqnarray} f(y, x) < f(x, x) \end{eqnarray} $$ となり、これは、 進化的安定の第1の条件です。

次に $f(y, x) = f(x, x)$の場合について考えてみます。
この時には右辺の第2項だけではわからないので、第1項を比較してみます。 $$ \begin{eqnarray} f(y, y) < f(x, y)
\end{eqnarray} $$ これがESSの第2条件です。

参考文献

生き物の進化ゲーム ―進化生態学最前線:生物の不思議を解く― 大改訂版

生き物の進化ゲーム ―進化生態学最前線:生物の不思議を解く― 大改訂版