⑤ ディープラーニングの応用例 ／ 29. 深層強化学習
Rainbowとは
Rainbowとは、DQNの性能向上のために提案された複数の改良技術をすべて統合したDQN拡張モデルです。7つの要素の統合という点が要点で、構成要素まで覚えておきたいモデルです。
この用語はG検定シラバスの「29. 深層強化学習」に含まれます。 章全体の用語は用語解説⑤（全133語）にまとまっています。
一言でいうと
DQNの改良技術を7つすべてまとめた、いいとこ取りのモデルです。
7つの構成要素
- Double Q-learning：行動選択と価値評価を分離し、Q値の過大評価を抑制する理論
- Double DQN：それを深層学習に適用し、学習の安定性を向上
- Prioritized Experience Replay：重要な経験を優先的に学習し、収束を高速化
- Dueling Network：Q値を状態価値Vと行動優位性Aに分解
- Multi-step Learning：複数ステップ先の報酬まで考慮し、学習を加速
- Categorical DQN：報酬の分布を学習し、より正確な予測を行う
- Noisy Network：ノイズを加え、自律的な探索行動を促進
統合の成果
これらを組み合わせることで、Atari環境において当時のすべてのDQN系手法を凌駕する性能を達成しました。
「7つの技術の統合モデル」という点がG検定対策での要点です。個々の技術がどの問題に対処しているかを結びつけて覚えると定着します。
統合という発想
Rainbowが示したのは「個々の改良は互いに邪魔をせず、足し合わせられる」ということでした。
1つずつ外して効果を測る検証も行われ、どの要素がどれだけ効くかも明らかにされています。地道な統合と検証の価値を示した研究です。
🎯 G検定での押さえどころ
- DQN改良技術7つの統合モデル
- Double DQN・Dueling・Noisy などを含む
- Atari環境で当時最高性能を達成
⚠️ よくある誤りの選択肢
- 「RainbowはDQNとは無関係の新しいアルゴリズムである」→ 誤り。DQNの改良の統合です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「DQN」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。