③ ディープラーニングの概要／ 12. 活性化関数

tanh 関数とは

tanh関数とは、出力を−1から1の範囲に正規化する活性化関数です。シグモイド関数より勾配消失は起きにくいものの、深い層では問題が残ります。

この用語はG検定シラバスの「12. 活性化関数」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

出力を−1〜1に収める関数。シグモイドより少しましですが、勾配消失は完全には防げません。

tanh のグラフ。出力が −1〜1 に収まる S 字型

シグモイドより有利な点

tanh関数の微分の最大値は1で、シグモイドの0.25より大きくなります。そのぶん勾配が小さくなりにくいのです。

また出力が0を中心に対称である点も利点です。シグモイドは常に正の値を出すため学習が偏りやすいのに対し、tanhは正負がバランスよく出るため学習が進みやすくなります。

微分値が1になるのは入力が0付近のときだけで、入力が大きく振れればやはり0に近づきます。

つまり層が深くなれば勾配消失問題は避けられません。この問題を実用上解決したのがReLUです。

tanhは、系列データを扱う再帰型ニューラルネットワーク（RNN）でよく使われてきました。LSTMの内部にも登場します。

出力が0を中心に対称であることが、状態を保持しながら更新していく構造と相性が良いためです。「中間層＝すべてReLU」ではない点は押さえておきましょう。