③ ディープラーニングの概要／ 14. 正則化

ドロップアウトとは

ドロップアウトとは、学習時にランダムに一部のニューロンを無効化することで、特定の経路への依存を防ぐ正則化手法です。推論時には全ニューロンを使用する点に注意が必要です。

この用語はG検定シラバスの「14. 正則化」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

学習中だけニューロンをランダムに休ませ、特定の経路に頼りすぎないようにする手法です。

なぜ過学習を防げるのか

毎回ランダムに一部のニューロンが使えなくなるため、ネットワークは特定の経路だけに頼れなくなります。その結果、複数の経路が冗長に特徴を捉えるようになります。

これは実質的に、少しずつ構造の違う多数のネットワークを学習して平均を取っていることに相当します。アンサンブル学習と似た効果と説明されます。

ここが最も重要なポイントです。

「推論時もランダムに無効化する」という選択肢は誤りです。

無効化する割合（ドロップアウト率）はハイパーパラメータで、0.5前後がよく使われます。

高くしすぎると学習に必要な情報まで失われ、低すぎると効果が出ません。また層によって適切な値が異なることもあります。