④ ディープラーニングの要素技術／ 17. 全結合層

重みとは

重みとは、各入力信号の重要度を表す学習可能なパラメータです。誤差逆伝播法によって更新され、モデルの性能を大きく左右します。

この用語はG検定シラバスの「17. 全結合層」に含まれます。章全体の用語は用語解説④（全60語）にまとまっています。

どの入力をどれだけ重視するかを表す数値。学習によって自動的に調整されます。

何を学習しているのか

ニューラルネットワークの「学習」とは、突き詰めればこの重みの値を調整することです。

入力に重みを掛けて足し合わせ、活性化関数を通して次の層へ渡す——この繰り返しがネットワークの計算です。重みが変われば出力も変わるため、望ましい出力が得られる重みを探すのが学習の目的になります。

重みとセットで登場するのがバイアスです。

どちらも学習で決まるパラメータであり、人間が設定するハイパーパラメータとは区別されます。

更新は連鎖律を用いた誤差逆伝播法で行われます。「その重みを少し動かすと誤差がどう変わるか」を計算し、誤差が小さくなる向きへ動かします。

動かす量を決めるのが学習率です。

全結合層のパラメータ数は（入力の数）×（出力の数）で決まります。入力1000・出力1000なら100万個です。

画像をそのまま全結合層に入れるとこの数が爆発するため学習できません。パラメータを共有して数を抑える畳み込みが必要になった理由がここにあります。