④ ディープラーニングの要素技術／ 17. 全結合層

線形関数とは

線形関数とは、入力の加重和として出力を計算する関数で、全結合層の基本構造をなします。線形変換のみでは表現力が不足するため、非線形の活性化関数と組み合わせて用いられます。

この用語はG検定シラバスの「17. 全結合層」に含まれます。章全体の用語は用語解説④（全60語）にまとまっています。

入力に重みを掛けて足し合わせるだけの関数。全結合層の中身そのものです。

全結合層がしていること

全結合層の計算は、各入力に重みを掛けて合計し、バイアスを足す——これだけです。これが線形変換にあたります。

幾何的にいえば、拡大・縮小・回転・平行移動を行っているだけで、曲げたり折ったりはできません。

ここが最も重要なポイントです。線形変換を何回重ねても、結局は1回の線形変換で表せてしまいます。

つまり活性化関数がなければ、100層積んでも1層と同じ表現力しかありません。ReLUのような非線形の活性化関数を挟んではじめて層を深くする意味が生まれます。

活性化関数は線形変換のあとに置きます。「重み付き和 → 活性化関数」の順です。

ただし出力層だけは扱いが変わります。回帰なら活性化関数を使わず、分類ならソフトマックスやシグモイドを使う——中間層と出力層で選び方が違う点は押さえておきましょう。