【マルチエージェント強化学習】Difference Rewards

今回はマルチエージェント強化学習のReward Shaping手法の１つの
Difference Rewards について紹介します。

Difference Rewards
実験

Difference Rewards

Difference Rewards はマルチエージェント強化学習の完全協調タスクにおける報酬形成手法の１つです。
Difference Rewardsではエージェント$i$の報酬は以下のようになります。

$$\begin{aligned}
D_i \equiv G(\textbf{a}) – G(\textbf{a}_{-i})
\end{aligned}$$

通常のシステム全体の評価(Global Reward) $G(\textbf{a})$と
エージェント$i$の行動$a_i$を取り除いた$G(\textbf{a}_{-i})$との差分を報酬としてます。
このように差分を取ることで、エージェント$i$の行動$a_i$のシステム全体への純粋な貢献度を計算することができます。

直感的にも、Difference Rewardsを使うことで
Global Reward$G(\textbf{a})$を向上させられそうなのはわかりますが、
単純にDifference Rewardsの行動$a_i$に対する勾配を求めると以下のようになります。

$$\begin{aligned}
\frac{\partial D_i}{\partial a_i} &= \frac{\partial G(\textbf{a})}{\partial a_i} – \frac{\partial G(\textbf{a}_{-i})}{\partial a_i} \\
&= \frac{\partial G(\vec{a})}{\partial a_i}
\end{aligned}$$

つまり、Difference Rewardsを向上させることは、Global Reward$G(\textbf{a})$を向上させることと同等になります。