活性化関数ビューア
— 関数と導関数を重ねて比較する
sigmoid・tanh・ReLUからGELU・Swishまで、7つの活性化関数を1つのグラフに重ねて比較。 下段には導関数（勾配）も同時に表示されます。 シグモイドの導関数が最大でも0.25しかないこと——勾配消失の正体——を、自分の目で確かめてください。
📉 勾配消失 ミニ計算機
f(x) — 活性化関数そのもの
f′(x) — 導関数（逆伝播で掛け算される「勾配の通り道」）
7つの関数の式と性質（E資格頻出）
| 関数 | 定義 | 導関数のポイント |
|---|---|---|
| sigmoid | \(\sigma(x)=\dfrac{1}{1+e^{-x}}\) | \(\sigma'(x)=\sigma(x)(1-\sigma(x))\)。最大0.25（x=0）。両端で勾配消失 |
| tanh | \(\tanh(x)\) | \(1-\tanh^2(x)\)。最大1（x=0）。ゼロ中心だが両端は消える |
| ReLU | \(\max(0, x)\) | x>0で常に1・x<0で0。速く消えないが「死んだReLU」問題 |
| Leaky ReLU | \(\max(\alpha x, x)\)（本ツールは α=0.1） | 負側でも勾配αを流し、死んだReLUを防ぐ |
| ELU | \(x\;(x>0),\;\; \alpha(e^{x}-1)\;(x\le 0)\)（α=1） | 負側が滑らかで平均出力が0に近づく |
| GELU | \(x\,\Phi(x)\)（Φ＝標準正規CDF） | 滑らかなReLU。Transformer系で標準的。負側にわずかな谷 |
| Swish | \(x\,\sigma(x)\) | GELUに似た滑らかさ。自己ゲート型 |
導関数がすべてを決める — 勾配消失の直感
逆伝播では、勾配が層をさかのぼるたびにその層の活性化関数の導関数が掛け算されます。 導関数が1より小さい関数を深く重ねると、勾配は指数的に縮んで手前の層に届かなくなります。 シグモイド全盛の時代に深いネットワークが学習できなかった大きな理由がこれで、 「導関数が1で素通りする」ReLUの登場が深層学習のブレイクスルーになりました。 GELUやSwishは、ReLUの良さを保ちつつ滑らかさを加えた現代の改良版です。
E資格 練習問題
シグモイド関数 \(\sigma(x)\) の導関数の最大値として正しいものはどれか。
- 1
- 0.5
- 0.25
- e
解答と解説を見る
正解：C. 0.25
\(\sigma'(x) = \sigma(x)(1-\sigma(x))\) は \(\sigma(x)=0.5\)（つまり x=0）のとき最大となり、
\(0.5 \times 0.5 = 0.25\)。
「σ(1−σ) の形」と「最大0.25」はセットで押さえておきたい重要ポイントです。
ビューアの下段グラフで、青い山の頂上がちょうど0.25にあることを確認してください。
この0.25が層のたびに掛かることが、勾配消失の根本原因です。
活性化関数の理論（数式・使い分け）は E資格の試験内容解説から、 PyTorchでの使われ方は E資格コーディング対策コース・レッスン5で深められます。
＼ 公式LINE・登録無料 ／
友だち追加で4大特典をプレゼント中🎁
E資格ミニ模試（全15問）／覚えておくべき数式チェック49本
医療現場の生成AI安全活用ガイド／医療AI用語事典100