③ ディープラーニングの概要／ 16. 最適化手法

勾配降下法とは

勾配降下法とは、損失関数の勾配の逆方向にパラメータを更新し、値を最小化する基本的な最適化手法です。多くの学習アルゴリズムの基礎になっています。

この用語はG検定シラバスの「16. 最適化手法」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

坂道を下るように、損失が小さくなる方向へ少しずつパラメータを動かす手法です。

なぜ「勾配の逆方向」なのか

勾配は関数の値が最も急に増える方向を指します。損失は小さくしたいので、その逆向きに進めばよい——これが名前の由来です。

どれだけ進むかを決めるのが学習率です。大きすぎると行き過ぎて発散し、小さすぎるとなかなか進みません。

勾配がほぼ0になる場所では更新が止まります。そこが本当の最小とは限りません。

高次元のディープラーニングでは、局所最適解より鞍点のほうが問題になりやすいとされています。

この弱点を補うために、ランダム性を取り入れたSGD、慣性を加えるモーメンタム、パラメータごとに学習率を変えるAdaGrad系の手法が生まれました。

勾配降下法は、勾配をどれだけのデータで計算するかによって呼び方が変わります。

基本の考え方は同じで、使うデータ量が違うだけと整理できます。