③ ディープラーニングの概要／ 16. 最適化手法

鞍点とは

鞍点とは、ある次元から見ると極小だが、別の次元から見ると極大となる点です。勾配がほぼ0になるため、勾配降下法で学習が停滞する原因として重要です。

この用語はG検定シラバスの「16. 最適化手法」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

馬の鞍のような形の点。方向によって上りにも下りにも見え、勾配が0になります。

鞍のような形

馬の鞍を思い浮かべてください。前後方向には低くなっていますが、左右方向には高くなっています。その中心が鞍点です。

この点ではすべての方向の傾きが0になるため、勾配降下法は「もう下がれない」と判断して停止してしまいます。しかし実際には、ある方向へ進めばまだ下がれるのです。

直感に反しますが、パラメータが非常に多い深層学習では局所最適解より鞍点のほうがはるかに多く存在すると考えられています。

すべての方向で同時に「上がる」形になる（＝真の局所最適解になる）確率は、次元が増えるほど小さくなるためです。この点はG検定対策として押さえておきたいところです。

モーメンタムのように慣性を持たせる手法や、SGDの揺らぎが有効です。完全に平坦ではないわずかな傾きを利用して抜け出します。

鞍点の周辺には、勾配がほぼ0のまま広がる平坦な領域が存在することがあります。これをプラトーと呼びます。

ここに入ると学習が長く停滞します。損失がなかなか下がらない時間が続いたあと、突然また下がり始めるのはプラトーを抜けたためであることが多いのです。