Actor-Criticとは
Actor-Criticとは、行動を決める「Actor（方策）」と、その行動の良さを評価する「Critic（価値関数）」を同時に学習させる強化学習アルゴリズムです。G検定では方策勾配法と価値関数の融合モデルとして理解しておくことが重要です。
この用語はG検定シラバスの「9. 強化学習」に含まれます。 章全体の用語は用語解説②（全62語）にまとまっています。
一言でいうと
行動を決める役（Actor）と、それを採点する役（Critic）を同時に育てる手法です。
2つの役割
CriticはActorの行動を採点し、その評価をActorにフィードバックします。Actorはそれを手がかりに方策を改善していきます。
なぜ安定するのか
REINFORCEは最後まで行動してみないと評価できず、結果のばらつきが大きいという弱点がありました。
Actor-Criticでは、Criticがその場で行動の良し悪しを推定してくれるため、学習の安定性と収束速度が大きく向上します。
ロボット制御であれば、Actorが動作を決め、Criticが転倒しにくさや移動効率を評価する、という分担になります。
発展形
Actor-Criticの考え方は、多くの手法の土台になっています。複数の環境を並列に動かして学習を安定・高速化したA3Cなどが代表例です。
G検定対策では細部まで踏み込む必要はありませんが、Actor-Criticが現代の強化学習アルゴリズムの基本形である点は押さえておくとよいでしょう。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| Actor | 行動を決める（方策） |
| Critic | 行動の良さを評価する（価値関数） |
🎯 G検定での押さえどころ
- Actor＝方策、Critic＝価値関数
- 方策勾配法と価値関数を融合した手法
- 学習の安定性と収束速度が向上する
⚠️ よくある誤りの選択肢
- 「Actorは価値関数を、Criticは方策を学習する」→ 誤り。役割が逆です
- 「Actor-Criticは価値関数を一切使わない」→ 誤り。Criticが価値関数を学習します
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「方策勾配法とActor-Critic」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。