⑤ ディープラーニングの応用例 ／ 29. 深層強化学習
DQNとは
DQNとは、Q学習と深層ニューラルネットワークを組み合わせ、画像入力から直接行動を決定できるようにした手法です。経験再生とターゲットネットワークという2つの安定化の工夫が導入されています。
この用語はG検定シラバスの「29. 深層強化学習」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
Q学習のQ値をニューラルネットワークで推定し、ゲーム画面から直接行動を決められるようにした手法です。
Qテーブルの限界を越える
従来のQ学習はQ値を表として保持していました。しかしゲーム画面のような高次元入力では状態の数が事実上無限になり、表では扱えません。
DQNは表の代わりにCNNを用いてQ値を推定します。画面を直接入力できるようになり、深層強化学習の扉が開かれました。
2つの安定化技術
- 経験再生（Replay Buffer）：経験を蓄えておき、ランダムに取り出して学習する。連続した経験は似ているため、そのまま学習すると偏るのを防ぐ
- ターゲットネットワーク：目標値の計算に少し前のネットワークを使う。目標が動き続けることによる学習の発散を防ぐ
「DQN＝深層学習＋Q学習＋安定化技術」という3点セットで覚えるのがG検定の要領です。
Atariでの成果
DQNはAtariのゲーム49種を同じ構成のまま学習し、多くで人間並み以上の成績を出しました。
ゲームごとに設計を変えず画面と得点だけを与えて学習した点が衝撃的で、深層強化学習の出発点となりました。
🎯 G検定での押さえどころ
- Q学習＋深層学習で高次元入力を扱える
- 安定化技術は経験再生とターゲットネットワーク
- Qテーブルの限界を越えた点が画期的
⚠️ よくある誤りの選択肢
- 「DQNはQ値を表として保持する」→ 誤り。ニューラルネットワークで推定します
- 「DQNには学習を安定させる工夫は含まれない」→ 誤り。経験再生とターゲットネットワークがあります
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「DQN」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。