RMSpropとは
RMSpropとは、AdaGradの学習率低下問題を、勾配の二乗の指数移動平均を用いて解決する最適化手法です。AdaDeltaが更新量そのものを制御するのに対し、RMSpropは学習率の調整に重点を置きます。
この用語はG検定シラバスの「16. 最適化手法」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
直近の勾配だけを見て学習率を調整し、AdaGradの弱点を解消した手法です。
何を変えたのか
AdaGradは過去の勾配の二乗をすべて累積していたため、学習が進むほど学習率が小さくなり続けました。
RMSpropは指数移動平均に変更し、古い勾配の影響を徐々に減衰させます。これにより最近の勾配の状況に応じて学習率が上下できるようになりました。
Adamの構成要素
RMSpropの「学習率の自動調整」と、モーメンタムの「慣性」を組み合わせたものがAdamです。
Adam ＝ モーメンタム ＋ RMSpropという関係は必ず押さえてください。
提案の経緯
RMSpropは論文としてではなく、講義の中で提案されたことで知られています。それにもかかわらず広く普及しました。
AdaGradの弱点が明確だったため、その解決策としてすぐに受け入れられたという経緯です。のちにAdamの中核部品にもなりました。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| RMSprop | 学習率の調整に重点。指数移動平均を使う |
| AdaDelta | 更新量そのものを制御。初期学習率が不要 |
| AdaGrad | 二乗和を累積。学習率が下がり続ける |
🎯 G検定での押さえどころ
- 勾配の二乗の指数移動平均を使う
- AdaGradの学習率低下問題を解決した
- Adamの構成要素の1つ
⚠️ よくある誤りの選択肢
- 「RMSpropはAdaGradと同じく勾配の二乗和を累積する」→ 誤り。指数移動平均です
- 「RMSpropはモーメンタムと同じ仕組みである」→ 誤り。別の仕組みで、Adamで組み合わされます
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「適応的な学習率を持つアルゴリズム」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。