③ ディープラーニングの概要 ／ 16. 最適化手法
AdaBoundとは
AdaBoundとは、Adamの高速な初期収束とSGDの安定した最終収束を両立させる最適化手法です。学習率に上下限（Bound）を設け、学習後半でSGDに近い挙動になります。
この用語はG検定シラバスの「16. 最適化手法」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
序盤はAdamのように速く、終盤はSGDのように安定して収束させる手法です。
なぜ必要とされたのか
Adamは収束が速い一方、最終的な汎化性能ではSGDに劣ることがあると報告されました。学習率が極端な値になることが一因とされます。
そこでAdaBoundは学習率に上限と下限を設けます。この範囲を学習の進行に応じて徐々に狭めていくと、最終的には一定の学習率、つまりSGDと同じ振る舞いに収束します。
AMSBoundとの関係
同じ発想をさらに進めたのがAMSBoundです。Adamの収束性の欠陥を修正したAMSGradにBoundの考え方を組み合わせています。
位置づけの整理
最適化手法は大きく2系統に分けて整理できます。
AdaBoundはこの2系統の橋渡しを狙った手法だと位置づけると理解しやすくなります。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| AdaBound | Adamに学習率の上下限を設け、終盤はSGDに近づく |
| AMSBound | AMSGrad＋Boundの考え方を組み合わせたもの |
🎯 G検定での押さえどころ
- 学習率に上下限（Bound）を設ける
- 序盤はAdam、終盤はSGDに近い挙動
- Adamの汎化性能の弱点を補う狙い
⚠️ よくある誤りの選択肢
- 「AdaBoundは学習の終盤でAdamに近い挙動になる」→ 誤り。SGDに近づきます
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「適応的な学習率を持つアルゴリズム」（E資格向け）
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。