Leaky ReLU 関数とは
Leaky ReLUとは、負の入力に対しても小さな傾きを持たせたReLUの改良版です。死んだニューロン問題を緩和できる点が重要です。
この用語はG検定シラバスの「12. 活性化関数」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
ReLUの負の部分を完全に0にせず、わずかに傾きを残した関数です。
Leaky ReLU のグラフ。負の側にもわずかな傾きが残る
何を改良したのか
ReLUは負の領域で出力も傾きも0になるため、そこに入ったニューロンは勾配が伝わらず学習から取り残されます（死んだニューロン問題）。
Leaky ReLUは負の側にも0.01などのわずかな傾きを残します。これによりわずかでも勾配が伝わり続け、復帰の余地が生まれます。
必ず優れているわけではない
Leaky ReLUのほうが理屈のうえでは有利ですが、実際の性能は問題によって変わり、ReLUのほうが良い結果になることもあります。
「どんな場合でも最良の手法は存在しない」というノーフリーランチの定理の考え方が当てはまる場面です。
傾きをどう決めるか
負の側の傾きは0.01程度がよく使われますが、これは固定値です。
この傾き自体を学習で決める発展形がParametric ReLUです。つまり手で決めていた値を学習に任せるという発想で、ディープラーニングでよく見られる改良の方向性です。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| Leaky ReLU関数 | 負にも小さな傾きあり。死んだニューロン問題を緩和 |
| ReLU関数 | 負は完全に0。死んだニューロン問題が起こりうる |
🎯 G検定での押さえどころ
- 負の入力にも小さな傾きを持たせる
- 死んだニューロン問題を緩和する
- 常にReLUより優れるとは限らない
⚠️ よくある誤りの選択肢
- 「Leaky ReLUは負の入力を完全に0にする」→ 誤り。小さな傾きを残します
- 「Leaky ReLUは常にReLUより高性能である」→ 誤り。問題によります
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「活性化関数」（E資格向け）
- 手を動かして確かめる → 活性化関数シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。