⑤ ディープラーニングの応用例 ／ 29. 深層強化学習
ダブル DQNとは
ダブルDQNとは、DQNが持つ「Q値の過大評価問題」を解決するため、行動選択と価値評価を分離した手法です。過大評価が抑制され、学習がより安定します。
この用語はG検定シラバスの「29. 深層強化学習」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
「どの行動を選ぶか」と「その価値を測る」を別々に行い、Q値の過大評価を防ぐ手法です。
なぜ過大評価が起きるのか
DQNの更新では、次の状態で最大のQ値を持つ行動を使います。
Q値は推定値なので誤差を含みます。最大値を取る操作はたまたま高く推定された誤差を選び取ってしまう性質があります。これが繰り返されると価値が実際より高く見積もられ、学習が不安定になります。
分離するという解決
ダブルDQNは2つのネットワークを使い分けます。
- 行動の選択：一方のネットワークで決める
- その価値の評価：もう一方で測る
選ぶ側と測る側が別なので、同じ誤差が二重に効くことがなくなります。Rainbowの構成要素の1つでもあります。
過大評価が招く問題
Q値が過大に見積もられると、実際には良くない行動を良いと勘違いして選び続けます。
その誤りが学習を通じて広がるため、単なる誤差では済まないという点が重要です。だから分離という対処が必要になりました。
🎯 G検定での押さえどころ
- Q値の過大評価を抑える手法
- 行動選択と価値評価を分離する
- Rainbowの構成要素の1つ
⚠️ よくある誤りの選択肢
- 「ダブルDQNは行動選択と価値評価を同じネットワークで行う」→ 誤り。分離します
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「DQN」（E資格向け）
この用語を覚えたら
チェックは章ページと「試験内容解説」TOPの進捗にも反映されます
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。