マルチエージェント強化学習の大まかな分類

マルチエージェント強化学習は大まかには3種類に分類されます。

Stochastic Gamesの報酬関数$R$によって分類されます。

ちなみにStochastic Gamesについては以下参照

Fully Cooperative task

１つ目がFully Cooperative task。これは日本語では完全協調タスクといったタスクになります。

協調タスクとある通り、全エージェントがうまく協力して解く必要があるタスクになります。

Stochastic Gamesでは、全エージェントの報酬が同値のとき、つまり、以下のような報酬のときです。

$$
\begin{eqnarray}
R_1 = \cdots = R_m = R
\end{eqnarray}
$$

$R_i$ はエージェント$i$の報酬関数になります。

全エージェントが同じ報酬を最大化することが目的のタスクになります。

複数のロボットがある目的達成のために協調するタスクはFully Cooperative taskになります。

2つ目がFully Competitive taskです。
このタスクは対戦型のタスクになります。

Stochastic Gamesでは、全エージェントの報酬関数がゼロサムの時ことを言います。
つまり、以下のような時です。

$$
\begin{eqnarray}
R_1 =-R_2
\end{eqnarray}
$$

つまり、自分の利益は相手の不利益になるような時。

例えば、テニスや将棋等の対戦型ゲーム等はすべてこのFully Competitive taskに該当します。

Fully Cooperative tasks とFully Competitive tasks以外のタスクはMixed taskになります。

囚人のジレンマなどもこのタスクになります。