② 機械学習の概要／ 9. 強化学習

REINFORCEとは

REINFORCEとは、方策を直接パラメータ化し、報酬を最大化するように勾配を計算して更新する、方策勾配法の基本アルゴリズムです。価値関数を使わず方策を直接最適化する点を押さえておきたいところです。

この用語はG検定シラバスの「9. 強化学習」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

実際に行動してみた結果の報酬をもとに、方策を直接更新していく基本的な手法です。

仕組み

方策に従って最後まで行動し、実際に得られた報酬の合計を見ます。報酬が大きかった行動は選ばれやすく、小さかった行動は選ばれにくくなるように方策のパラメータを更新します。

行動の確率分布を直接最適化するため、連続行動空間にも適用できます。

1回ごとの結果に大きく左右されるため、分散が大きく学習が不安定になりやすいという弱点があります。たまたま良い結果が出ただけの行動を過大評価してしまうのです。

そこで状態価値関数などをベースラインとして差し引き、「平均と比べてどれだけ良かったか」で評価する工夫が使われます。この発想を発展させたのがActor-Criticです。

REINFORCEは1エピソードを最後まで実行してから更新します。途中で評価せず、結果が出るまで待つ形です。

この「最後まで試してから平均を取る」考え方はモンテカルロ法と同じ発想です。正確ではあるものの、1回ごとのばらつきが大きいという弱点もそこから来ています。