ReLU 関数とは
ReLUとは、負の値を0に、正の値をそのまま出力する活性化関数です。計算が高速で勾配消失が起きにくいため、現在の深層学習で最も広く使われています。
この用語はG検定シラバスの「12. 活性化関数」に含まれます。 章全体の用語は用語解説③（全52語）にまとまっています。
一言でいうと
マイナスは0、プラスはそのまま通す関数。今の深層学習の標準です。
ReLU のグラフ。負の入力は 0、正の入力はそのまま出力される
なぜ勾配消失が起きにくいのか
正の領域では、ReLUの傾きは常に1です。層をさかのぼって何度掛け合わせても1のままなので、勾配が小さくなっていきません。
シグモイド関数の最大0.25と比べると違いは明らかです。これが深いネットワークの学習を可能にした鍵でした。
計算が速い
シグモイドやtanhは指数関数の計算を必要としますが、ReLUは「0より大きいかどうか」を判定するだけです。膨大な回数繰り返す計算なので、この差は学習時間に効いてきます。
死んだニューロン問題
弱点もあります。負の領域では出力も傾きも0になるため、一度そこに入ったニューロンは二度と学習されなくなることがあります。これを死んだニューロン問題と呼びます。
これを緩和するために、負の側にもわずかな傾きを与えたLeaky ReLUが考案されました。
派生の広がり
ReLUの成功を受けて、多くの派生が提案されています。
- Leaky ReLU：負にも小さな傾きを持たせる
- Parametric ReLU：その傾き自体を学習で決める
ただしノーフリーランチの定理の通り、常に派生版が優れるわけではありません。まずReLUを試すのが標準的な進め方です。
混同しやすい用語との違い
| 用語 | ポイント |
|---|---|
| ReLU関数 | 負は0。傾きは正の領域で1。死んだニューロン問題あり |
| Leaky ReLU関数 | 負にも小さな傾きを持たせ、死んだニューロン問題を緩和 |
🎯 G検定での押さえどころ
- 負は0、正はそのまま出力する
- 正の領域の傾きが常に1なので勾配消失が起きにくい
- 弱点は死んだニューロン問題
⚠️ よくある誤りの選択肢
- 「ReLUは負の入力に対して小さな傾きを持つ」→ 誤り。それはLeaky ReLUです
- 「ReLUは指数関数の計算を含むため低速である」→ 誤り。判定するだけで高速です
📘 もっと深く学ぶ
- 数式レベルまで踏み込んだ解説 → 医療AIナビ「活性化関数」（E資格向け）
- 手を動かして確かめる → 活性化関数シミュレータ
関連する用語
ご利用にあたって 本ページの内容は、JDLAが公開しているG検定シラバス2024や公式テキストなど、一般に公開されている情報をもとに独自に整理・解説したものです。実際の試験の出題内容を示すものではなく、また合格を保証するものでもありません。制度・法令・試験要項は変更されることがあるため、最新の情報は必ずJDLA公式サイトでご確認ください。