方策勾配法とは
方策勾配法とは、行動の選択確率を直接最適化することで最適な方策を学習する手法です。価値関数を介さず方策そのものを直接学習する点と、連続行動空間に適用できる点がG検定対策の重要ポイントです。
この用語はG検定シラバスの「9. 強化学習」に含まれます。 章全体の用語は用語解説②（全62語）にまとまっています。
一言でいうと
「どの行動をどの確率で選ぶか」を直接学習する強化学習の手法です。
価値ベース手法との違い
Q学習のような価値ベース手法は、まずQ(s,a)を学習し、そこから最適な行動を導きます。つまり間接的なアプローチです。
方策勾配法は、「どの状態でどの行動をどの確率で選ぶか」という方策そのものを直接学習します。得られた報酬が大きくなる方向へ、方策のパラメータを更新していきます。
連続行動空間に強い
価値ベース手法は「全行動のQ値を比べて最大を選ぶ」ため、行動が連続値（ハンドルの角度、力の大きさなど）だと比較のしようがありません。
方策勾配法は確率分布として行動を出力するので、ロボット制御のような連続行動空間にそのまま適用できます。
確率で行動することの利点
方策勾配法は「この行動を70%、あの行動を30%」といった確率的な方策を扱えます。
相手がいるゲームでは、行動が読まれないこと自体が有利に働く場面があります。また学習中は確率的に振る舞うこと自体が自然な探索になるという利点もあります。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| 方策勾配法 | 方策を直接学習。連続行動空間に強い |
| 価値ベース手法（Q学習など） | 価値関数を学習し、そこから行動を決める |
🎯 G検定での押さえどころ
- 価値関数を介さず方策を直接最適化する
- 連続行動空間に適用できる
- 代表的な基本アルゴリズムがREINFORCE
⚠️ よくある誤りの選択肢
- 「方策勾配法はQ値を学習してから行動を決める」→ 誤り。方策を直接学習します
- 「方策勾配法は離散的な行動にしか使えない」→ 誤り。連続行動空間に強い手法です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「方策勾配法とActor-Critic」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。