③ ディープラーニングの概要 ／ 12. 活性化関数
勾配消失問題とは
勾配消失問題とは、誤差逆伝播の過程で勾配が層を遡るごとに極端に小さくなり、学習が進まなくなる現象です。シグモイドやtanhで起きやすく、ReLU系で緩和される点がG検定の要点です。
この用語はG検定シラバスの「12. 活性化関数」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
層をさかのぼるほど勾配が小さくなり、入力層側がほとんど学習されなくなる現象です。
なぜ起きるのか
誤差逆伝播法では、連鎖律によって各層の微分値を掛け合わせながら出力層から入力層へ勾配を伝えていきます。
ここで1より小さい値を何度も掛けると、値は急速に0へ近づきます。0.25を10回掛ければ約100万分の1です。
その結果、入力層に近い層ほど重みがほとんど更新されず、学習が進まなくなります。
起きやすい活性化関数
ディープラーニングが深いネットワークを扱えるようになった直接の要因の1つがReLUの採用でした。
勾配爆発問題との違い
逆に勾配が大きくなりすぎて発散するのが勾配爆発問題です。消失は「小さくなりすぎる」、爆発は「大きくなりすぎる」——対の関係で覚えてください。
活性化関数以外の対策
ReLUの採用だけでなく、構造やしくみの面からも対策が行われています。
- バッチ正規化：各層の出力の分布を整えて勾配を伝わりやすくする
- スキップ結合：層を飛び越える経路を作り、勾配が直接届くようにする（ResNetの発想）
- 重みの初期化を工夫する
複数の対策の組み合わせによって、非常に深いネットワークの学習が可能になりました。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| 勾配消失問題 | 勾配が小さくなりすぎて学習が進まない |
| 勾配爆発問題 | 勾配が大きくなりすぎて発散する |
🎯 G検定での押さえどころ
- 層をさかのぼるほど勾配が小さくなる
- シグモイド・tanhで起きやすく、ReLUで緩和される
- 勾配爆発問題（大きくなりすぎる）と対で覚える
⚠️ よくある誤りの選択肢
- 「勾配消失問題はReLUを使うと必ず完全に解消される」→ 誤り。緩和されますが完全ではありません
- 「勾配消失問題では出力層付近の重みが更新されなくなる」→ 誤り。影響が大きいのは入力層側です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「活性化関数」（E資格向け）
- 手を動かして確かめる → 誤差逆伝播ステップシミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。