モーメンタムとは
モーメンタムとは、過去の更新方向を慣性として考慮し、更新を加速させる手法です。振動を抑え、鞍点や局所解から抜けやすくします。
この用語はG検定シラバスの「16. 最適化手法」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
ボールが坂を転がるように、これまでの勢いを次の更新に引き継ぐ手法です。
慣性を加えるという発想
通常の勾配降下法は、毎回その場の傾きだけで進む方向を決めます。そのため谷の壁を行ったり来たりしてジグザグに振動しがちです。
モーメンタムは前回までの進行方向を一定割合で引き継ぎます。同じ方向が続けば加速し、行ったり来たりする成分は打ち消し合うため、振動が抑えられ収束が速くなります。
停滞から抜け出せる
勢いがついているので、鞍点のような平坦な場所や浅い局所最適解を通り過ぎることができます。ボールが小さなくぼみを勢いで乗り越えるイメージです。
Adamへのつながり
この「慣性」の考え方と、RMSpropの「学習率の自動調整」を組み合わせたものがAdamです。Adam ＝ モーメンタム ＋ RMSpropという関係はG検定対策として重要です。
係数が意味するもの
過去の更新をどれだけ引き継ぐかを決める係数には、0.9前後がよく使われます。
大きくするほど慣性が強くなり、滑らかに進む一方で行き過ぎ（オーバーシュート）も起こりやすくなります。慣性の強さと制御しやすさのトレードオフです。
🎯 G検定での押さえどころ
- 過去の更新方向を慣性として加える
- 振動を抑え、鞍点や局所解から抜けやすくする
- Adam＝モーメンタム＋RMSprop
⚠️ よくある誤りの選択肢
- 「モーメンタムはその場の勾配のみで更新方向を決める」→ 誤り。過去の方向も考慮します
- 「モーメンタムは振動を増やす手法である」→ 誤り。振動を抑えます
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「基本的なアルゴリズム」（E資格向け）
- 手を動かして確かめる → 勾配降下法シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。