③ ディープラーニングの概要／ 12. 活性化関数

シグモイド関数とは

シグモイド関数とは、出力を0から1の範囲に収めるS字型の活性化関数です。勾配消失が起きやすいため、現在は中間層ではほとんど使われません。

この用語はG検定シラバスの「12. 活性化関数」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

出力を0〜1に押し込めるS字型の関数。確率として扱いやすい反面、勾配消失を起こしやすいです。

シグモイド関数のグラフ。出力が 0〜1 に収まる S 字型

なぜ勾配消失が起きるのか

シグモイド関数の傾き（微分値）は最大でも0.25にしかなりません。入力が大きく振れると傾きはほぼ0になります。

誤差逆伝播では、層をさかのぼるたびにこの小さい値が掛け合わされていきます。0.25を何度も掛ければ、入力層に近づくころには勾配がほぼ0になってしまいます。これが勾配消失問題です。

中間層ではReLUに置き換わりましたが、二値分類の出力層では今も現役です。出力が0〜1に収まるため、そのまま確率として解釈できるからです。

ロジスティック回帰で確率を出すのに使われるのも同じ理由です。

ソフトマックス関数でクラス数を2にすると、シグモイド関数と等価になります。

つまり両者は無関係ではなく、シグモイドは2クラス版、ソフトマックスは多クラス版と整理して覚えると混乱しません。