③ ディープラーニングの概要 ／ 16. 最適化手法
Adamとは
Adamとは、モーメンタムとRMSpropを組み合わせた最適化手法で、現在最も広く使われています。勾配の一次モーメントと二次モーメントを推定し、安定かつ高速な学習を実現します。
この用語はG検定シラバスの「16. 最適化手法」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
「慣性」と「学習率の自動調整」を両立させた、現在の標準的な最適化手法です。
2つのモーメントが意味するもの
つまり方向と幅の両方を自動で面倒みてくれるのがAdamです。
なぜ広く使われるのか
学習率の初期値をあまり気にしなくてもそこそこ良い結果が出るため、最初に試す手法として定着しています。収束も速く、多くの問題で安定します。
ただし万能ではありません。最終的な汎化性能ではSGDのほうが良い場合もあり、それを踏まえた改良がAdaBoundなどです。ノーフリーランチの定理の通り、常に最良の手法は存在しません。
よく使われる設定
Adamには慣性と学習率調整のための係数がありますが、提案時の推奨値がそのまま使われることがほとんどです。
調整すべきは主に学習率だけで済むため、試行錯誤の手間が少ないことも普及した理由の1つです。
🎯 G検定での押さえどころ
- モーメンタム＋RMSpropの組み合わせ
- 一次モーメント＝方向、二次モーメント＝幅
- 現在最も広く使われるが万能ではない
⚠️ よくある誤りの選択肢
- 「AdamはAdaGradとモーメンタムを組み合わせた手法である」→ 誤り。RMSpropとモーメンタムです
- 「Adamは常にSGDより高い汎化性能を示す」→ 誤り。SGDのほうが良い場合もあります
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「適応的な学習率を持つアルゴリズム」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。