【深層強化学習ライブラリ】tensorforceを試す

今回は、深層強化学習ライブラリであるtensorforceを試してみたいと思います。

tensorforceとは

tensorflowを用いた深層強化学習用ライブラリです。

https://github.com/tensorforce/tensorforce

イギリスの人達がメインで作っている模様。

• バックエンド：TensorFlow
• pythonのバージョン：Python3, Python2(Python 2 support was dropped with version 0.5)
• github：https://github.com/tensorforce/tensorforce
• document： https://tensorforce.readthedocs.io/en/latest/

インストール

以下のコマンドでtensorflowを一緒にインストールできます。
とりあえずCPUバージョンをインストールします。

pip install tensorforce[tf]

サンプルを動かす

ここでは、 DQNでOpen Ai GymのCartPoleを試してみます。

まず、tensorforceをcloneします。

git clone https://github.com/tensorforce/tensorforce.git
cd tensorforce

サンプルを実行してみます。

python examples/openai_gym.py CartPole-v1 --agent examples/configs/dqn.json --network examples/configs/mlp2_network.json

引数についてですが、
まず、必須引数でタスク名「CartPole-v1」を設定します。
次に、オプション引数の「agent」でエージェント、
そして、「network」でエージェントが用いるニューラルネットワークの設定を行います。
設定ファイルはjsonファイルで用意してあります。

今回は 設定自体はjsonファイルを用意しましたが、
コードに直書きする方法もあります。