⑤ ディープラーニングの応用例／ 29. 深層強化学習

オフライン強化学習とは

オフライン強化学習とは、環境との新たな試行錯誤を行わず、既に収集された固定データのみから方策を学習する手法です。試行錯誤が危険・高コスト・非倫理的な分野で重要になります。

この用語はG検定シラバスの「29. 深層強化学習」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

新しく試すことなく、すでにあるデータだけで方策を学ぶ強化学習です。

なぜ必要なのか

通常の強化学習は試行錯誤が前提です。しかし現実には試せない領域があります。

こうした分野では過去の記録から学ぶしかありません。

データに含まれない行動については、その価値を推測するしかありません。しかも推測が過大だと、モデルはその行動を選びたがります。

実際に試して修正できないため、誤った推測が暴走したまま残ります（分布外行動の外挿誤差）。データにない行動を選ばないよう制約を加える工夫が必要です。

学べるのはデータに含まれる行動の範囲までです。記録された方策が下手なら、それを大きく超えることは困難です。

「良いデータがあるか」が性能を決めるという点で、通常の教師あり学習に近い性質を持ちます。