③ ディープラーニングの概要 ／ 16. 最適化手法
AdaDeltaとは
AdaDeltaとは、AdaGradで問題となる学習率の過度な減衰を防ぐため、過去の勾配の二乗和ではなく指数移動平均を利用する手法です。初期学習率を明示的に設定しなくてよい点が特徴です。
この用語はG検定シラバスの「16. 最適化手法」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
AdaGradの「学習が止まる」問題を直し、初期学習率の設定も不要にした手法です。
指数移動平均を使う
AdaGradは過去の勾配の二乗をすべて足し続けたため、値が増える一方でした。
AdaDeltaは直近の勾配を重視する指数移動平均に置き換えます。古い情報は徐々に忘れられるので、値が無制限に増えず、学習が止まりません。
RMSpropとの違い
同じ発想の手法にRMSpropがあります。違いは何を制御するかです。
- RMSprop：学習率の調整に重点を置く
- AdaDelta：更新量そのものを制御し、初期学習率の指定が不要
この対比はG検定対策として押さえておきたいところです。
単位をそろえるという発想
AdaDeltaのもう1つの特徴は、更新量の単位（スケール）をパラメータとそろえようとした点にあります。
そのため初期学習率というスケールを決める値が不要になりました。G検定では細部より「初期学習率の設定がいらない」という結論を押さえておけば十分です。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| AdaDelta | 更新量そのものを制御。初期学習率の指定が不要 |
| RMSprop | 学習率の調整に重点。初期学習率は指定する |
| AdaGrad | 二乗和を蓄積。学習率が下がり続ける |
🎯 G検定での押さえどころ
- AdaGradの学習率減衰を防ぐ
- 指数移動平均を利用する
- 初期学習率の設定が不要な点が特徴
⚠️ よくある誤りの選択肢
- 「AdaDeltaは初期学習率を必ず指定する必要がある」→ 誤り。不要な点が特徴です
- 「AdaDeltaは過去の勾配をすべて足し合わせる」→ 誤り。指数移動平均を使います
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「適応的な学習率を持つアルゴリズム」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。