③ ディープラーニングの概要 ／ 16. 最適化手法
学習率とは
学習率とは、1回の更新でパラメータをどれだけ動かすかを決めるハイパーパラメータです。大きすぎると発散し、小さすぎると学習が遅くなるというトレードオフが重要なポイントです。
この用語はG検定シラバスの「16. 最適化手法」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
1歩の大きさを決める値。大きすぎても小さすぎてもうまくいきません。
大きすぎる場合と小さすぎる場合
- 大きすぎる：谷を飛び越えてしまい、損失が振動したり発散したりする
- 小さすぎる：なかなか進まず学習に時間がかかる。途中の局所最適解から抜け出せなくもなる
適切な値は問題ごとに異なるため、ハイパーパラメータとして調整する必要があります。
学習率を変化させる工夫
最初は大きく動いて素早く近づき、後半は小さく動いて丁寧に合わせたい——そこで学習の進行に応じて学習率を小さくしていく（学習率の減衰）方法が広く使われます。
またAdaGrad以降の手法は、パラメータごとに学習率を自動調整する仕組みを備えています。Adamが広く使われるのはこのためです。
代表的な減衰のしかた
- ステップ減衰：一定エポックごとに学習率を半分にするなど、段階的に下げる
- 指数減衰：エポックが進むごとに一定割合で下げ続ける
- ウォームアップ：学習の最初だけあえて小さくし、徐々に上げてから下げる
いずれも序盤は大きく、終盤は小さくという考え方が共通しています。
🎯 G検定での押さえどころ
- 1回の更新量を決めるハイパーパラメータ
- 大きすぎると発散、小さすぎると学習が遅い
- 学習の進行に応じて小さくしていく手法がある
⚠️ よくある誤りの選択肢
- 「学習率は大きいほど確実に速く学習できる」→ 誤り。発散する危険があります
- 「学習率は学習中に変更できない」→ 誤り。減衰させるのが一般的です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「基本的なアルゴリズム」（E資格向け）
- 手を動かして確かめる → 勾配降下法シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。