③ ディープラーニングの概要／ 16. 最適化手法

二重降下現象とは

二重降下現象とは、モデルの複雑さを増すと誤差が一度増加した後、さらに増やすと再び低下する現象です。従来の過学習の常識に反する挙動として注目されています。

この用語はG検定シラバスの「16. 最適化手法」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

モデルを複雑にしていくと、誤差がいったん悪化してから、また良くなる現象です。

従来の理解

これまでは、モデルを複雑にしていくと誤差はU字型を描くと考えられてきました。ある点までは下がり、それを超えると過学習で上がっていく——という理解です。

この考え方にもとづけば、「ちょうど良い複雑さ」を探すのが正しい戦略になります。

ところが大規模なモデルでは、誤差がいったん上がったあとさらに複雑にすると再び下がることが観測されました。これが「二重（降下が2回）」という名前の由来です。

つまりパラメータ数が非常に多いモデルでも良い汎化性能が得られる場合があることになります。大規模モデルの成功を説明する現象として関心を集めています。

この現象はモデルの大きさだけでなく、学習を続けた時間（エポック数）に対しても観測されることがあります。

誤差がいったん悪化しても、さらに学習を続けると再び改善する場合があるということです。従来の「悪化したら止める」という判断が常に正しいとは限らないことを示しており、研究が進められています。