③ ディープラーニングの概要／ 16. 最適化手法

AdaGradとは

AdaGradとは、パラメータごとに過去の勾配の大きさを蓄積し、頻繁に更新される特徴量の学習率を小さくする最適化手法です。疎な特徴量を扱う問題に強い一方、学習が進むと更新が止まりやすい弱点があります。

この用語はG検定シラバスの「16. 最適化手法」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

よく動くパラメータほど学習率を小さくして、動きを穏やかにする手法です。

パラメータごとに学習率を変える

通常の手法ではすべてのパラメータに同じ学習率を使います。しかし特徴量によって出現頻度は大きく違います。

AdaGradは、これまでよく更新されたパラメータの学習率を小さくし、あまり更新されていないパラメータは大きめに動かします。その結果、めったに現れない特徴量（疎な特徴量）もしっかり学習されるようになります。

蓄積するのは過去の勾配の二乗の合計です。この値は減ることがなく増え続けます。

そのため学習が進むほど学習率は小さくなり続け、最終的にほとんど更新されなくなります。この問題を解決したのがRMSpropやAdaDeltaです。

AdaGradはAdaptive Gradientの略で、「適応的な勾配」を意味します。

この「Ada（適応的）」という接頭辞はAdaDelta・Adam・AdaBoundにも受け継がれており、パラメータごとに学習率を適応させる系統を示しています。名前で系統が分かると整理しやすくなります。