⑤ ディープラーニングの応用例／ 29. 深層強化学習

Agent57とは

Agent57とは、DeepMindが開発した深層強化学習エージェントで、Atari 57種類すべてのゲームで人間のプレイヤーを超える性能を初めて達成しました。

この用語はG検定シラバスの「29. 深層強化学習」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

Atariの全57ゲームで、初めて人間を上回った強化学習エージェントです。

なぜ「全57種」が難しいのか

それまでも多くのゲームで人間を超える成果はありました。しかし報酬がめったに得られないタイプのゲームでは苦戦が続いていました。

探索が足りないと報酬にたどり着けず、1つも学習が進まないという状況に陥ります。「すべてのゲームで」という条件が非常に高いハードルでした。

Agent57は単純なε-greedyではなく、複数の探索戦略を同時に走らせて統合します。

探索を重視する方策と活用を重視する方策を併存させ、状況に応じて使い分けます。これにより広範な探索と安定した学習を両立させました。G検定では実績ベースの知識として押さえておきたいところです。

とくに難しいとされたのが、長い探索の末にしか報酬が得られないタイプのゲームです。ランダムな行動ではまず到達できません。

この課題は報酬成形が扱う報酬スパース問題と同じ構図にあります。