③ ディープラーニングの概要 ／ 15. 誤差逆伝播法
勾配爆発問題とは
勾配爆発問題とは、逆伝播の途中で勾配が過度に大きくなり、重みの更新が発散してしまう現象です。学習が不安定になり、勾配クリッピングなどで対処されます。
この用語はG検定シラバスの「15. 誤差逆伝播法」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
勾配が大きくなりすぎて、重みの更新が壊れてしまう現象です。
なぜ起きるのか
連鎖律によって層ごとの微分を掛け合わせていく際、1より大きい値が続くと急速に値が膨れ上がります。
2を10回掛ければ1024倍です。層が深いほどこの効果は大きくなります。勾配消失問題と原因の構造はまったく同じで、方向が逆だと理解すると整理できます。
どんな症状が出るか
- 損失が急に跳ね上がる、あるいは振動する
- 損失がNaN（数値でない値）になる
- 重みが極端な値になり学習が進まなくなる
とくに系列を扱う再帰型ネットワークで起きやすいことが知られています。
対処法
代表的なのが勾配クリッピングです。勾配の大きさに上限を設け、それを超えたら縮めてから更新します。
ほかにも重みの初期化を工夫する、学習率を下げるといった対処が取られます。
系列データで起きやすい理由
再帰型ニューラルネットワーク（RNN）では、同じ重みを時間方向に何度も掛け合わせます。系列が長いほど掛ける回数が増えます。
そのため、わずかに1より大きいだけでも急速に値が発散します。長い系列を扱うほど勾配爆発・勾配消失の両方が起きやすくなるのです。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| 勾配爆発問題 | 勾配が大きくなりすぎる。対処は勾配クリッピング |
| 勾配消失問題 | 勾配が小さくなりすぎる。対処はReLUなど |
🎯 G検定での押さえどころ
- 勾配が大きくなりすぎて発散する
- 損失がNaNになるなど学習が壊れる
- 対処は勾配クリッピング
⚠️ よくある誤りの選択肢
- 「勾配爆発問題はReLUを使えば解決する」→ 誤り。ReLUは勾配消失への対策です
- 「勾配爆発問題では勾配が0に近づく」→ 誤り。大きくなりすぎる現象です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「誤差逆伝播法」（E資格向け）
- 手を動かして確かめる → 誤差逆伝播ステップシミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。