④ ディープラーニングの要素技術／ 22. 回帰結合層

ゲート機構とは

ゲート機構とは、情報を通す・遮断する制御構造で、LSTM・GRUの核心技術です。シグモイド関数により0〜1の値で通過量を制御し、長期記憶の保持を可能にします。

この用語はG検定シラバスの「22. 回帰結合層」に含まれます。章全体の用語は用語解説④（全60語）にまとまっています。

情報をどれだけ通すかを0〜1の値で調整する仕組み。LSTMやGRUの心臓部です。

なぜシグモイドなのか

シグモイド関数の出力は必ず0〜1に収まります。この性質が「通過率」としてそのまま使えるのです。

0か1かではなく連続的に調整できるため、学習で最適な通過量を獲得できます。

通常のRNNは、新しい入力が来るたびに状態が上書きされていきます。そのため古い情報はすぐ薄れてしまいます。

ゲート機構があると「必要な情報は保持し、不要な情報は捨てる」という判断を学習できます。これがLSTMやGRUが長期依存を扱える理由です。

ゲートの実体は要素ごとの掛け算です。0〜1の値を掛けるので、0なら遮断、1ならそのまま通過になります。

この「掛けて制御する」という発想はAttentionとも共通しています。重みを掛けて必要な情報を選ぶという点で両者は同じ系統の工夫だといえます。