⑤ ディープラーニングの応用例 ／ 29. 深層強化学習
デュエリングネットワークとは
デュエリングネットワークとは、Q値を「状態価値V」と「行動優位性A」に分解して推定する構造です。行動に依らず状態自体が良いか悪いかを正確に評価できるようになり、学習効率が向上します。
この用語はG検定シラバスの「29. 深層強化学習」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
Q値を「この状況の良さ」と「この行動の相対的な良さ」に分けて推定する構造です。
2つに分解する意味
- 状態価値V：その状況自体がどれくらい良いか（状態価値関数）
- 行動優位性A：その状況の中で、この行動が平均よりどれだけ良いか
Q値＝V＋Aという形で組み立てます。
なぜ効率が上がるのか
多くの場面では、どの行動を選んでも結果がほとんど変わりません。重要なのは「そもそもこの状況が良いか悪いか」です。
従来のDQNでは、行動ごとにQ値を 個別に学習する必要がありました。分解しておけば状態価値Vをまとめて学習できるため、効率よく学習が進みます。Rainbowの構成要素の1つです。
どんな場面で効くか
「どの行動を選んでも結果が変わらない状況」が多い課題ほど効果が出ます。ゲームで敵が現れていない場面などです。
そうした場面では行動より状況そのものの評価が重要で、分解しておくと効率よく学習できます。
🎯 G検定での押さえどころ
- Q値を状態価値V＋行動優位性Aに分解する
- 状態そのものの良し悪しを正確に評価できる
- Rainbowの構成要素の1つ
⚠️ よくある誤りの選択肢
- 「デュエリングネットワークはQ値を分解せずに直接推定する」→ 誤り。VとAに分解します
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「DQN」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。