④ ディープラーニングの要素技術／ 21. スキップ結合

ResNetとは

ResNetとは、スキップ結合（残差接続）を導入し、勾配消失問題を緩和することで100層を超える非常に深いネットワークの学習を可能にしたモデルです。残差学習という考え方がG検定対策として重要です。

この用語はG検定シラバスの「21. スキップ結合」に含まれます。章全体の用語は用語解説④（全60語）にまとまっています。

層を飛び越える経路を作ることで、非常に深いネットワークの学習を可能にしたモデルです。

層を深くすると起きていた問題

層を深くするほど表現力は上がるはずですが、実際にはある深さを超えると訓練データの誤差すら悪化するという現象が起きていました。

これは過学習ではありません。勾配消失問題によってそもそも学習が届かなくなっていたのです。

ResNetは、いくつかの層を飛び越える経路を追加しました。入力がそのまま先の層へ渡されます。

この経路があると、勾配が層を経由せず直接前へ届くため、深くしても学習が進みます。

また各ブロックは「入力からの差分（残差）」だけを学べばよくなります。これが残差学習です。「何もしない」が簡単に表現できるため、層を増やしても性能が落ちにくくなります。

スキップ結合の発想はCNNにとどまらず、Transformerなど現代のモデルに広く取り入れられています。深いネットワークを成立させる基本部品の1つです。

ResNet登場以前は20層程度が限界とされていました。ResNetは152層という当時としては桁違いの深さで高い精度を達成しました。

この成果によって「深さは正義」という方向性が確立し、以降のモデル設計に大きな影響を与えました。WideResNetのように「幅」を広げる派生も生まれています。