② 機械学習の概要 ／ 9. 強化学習
状態価値関数とは
状態価値関数とは、ある状態sにいること自体が、どれくらい将来の報酬につながるかを表す関数V(s)です。行動選択に直接依存しないため、方策の評価やActor-CriticのCriticで利用されます。
この用語はG検定シラバスの「9. 強化学習」に含まれます。 章全体の用語は用語解説②（全62語）にまとまっています。
一言でいうと
「この状況にいること自体がどれくらい有利か」を数値で表した関数です。
行動価値関数との違い
ここがG検定対策で最も重要なポイントです。2つは「何に対する価値か」が違います。
- 状態価値関数 V(s)：状態の価値。「この局面は有利か」を表す
- 行動価値関数 Q(s,a)：状態と行動の組の価値。「この局面でこの手を打つとどうか」を表す
V(s)は行動を指定しないため、そのままでは「どの行動を選ぶべきか」を決められません。ここが実用上の大きな違いです。
どこで使われるか
方策そのものを評価したい場面や、Actor-CriticでCritic（評価役）が用いる価値として使われます。
またREINFORCEで学習を安定させるベースラインとしても利用されます。
ベルマン方程式
価値関数には、「今の状態の価値」＝「今もらえる報酬」＋「次の状態の価値（割引後）」という再帰的な関係が成り立ちます。これをベルマン方程式といいます。
この関係があるおかげで、最後まで試さなくても1歩先の情報から価値を更新できるようになり、Q学習などが成立します。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| 状態価値関数 V(s) | 状態の価値。「この局面は有利か」 |
| 行動価値関数 Q(s,a) | 状態と行動の組の価値。「この手を打つとどうか」 |
🎯 G検定での押さえどころ
- 状態そのものの価値を表す V(s)
- 行動を指定しないため、単独では行動選択に使えない
- Actor-CriticのCriticやベースラインとして利用される
⚠️ よくある誤りの選択肢
- 「状態価値関数だけで、どの行動を選ぶべきか直接決められる」→ 誤り。行動を指定していないため、単独では行動を選べません
- 「状態価値関数と行動価値関数は同じものである」→ 誤り。評価の対象が違います
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「価値関数と行動価値関数」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。