⑤ ディープラーニングの応用例／ 34. モデルの軽量化

プルーニングとは

プルーニングとは、予測への寄与が小さい重みやニューロンを削除し、モデルサイズや計算量を削減する手法です。推論の高速化とメモリ削減に有効です。

この用語はG検定シラバスの「34. モデルの軽量化」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

あまり使われていない重みを刈り取って、モデルを小さくする手法です。

枝を刈る

学習後のモデルを見ると、値がほぼ0で予測に影響しない重みが多数あることが分かります。

プルーニング（＝剪定）はこれらを削除します。精度をほとんど落とさずにモデルを大幅に小さくできることが知られています。削除後に再学習して精度を回復させるのが一般的です。

「なぜ削っても精度が落ちないのか」を説明する仮説が宝くじ仮説です。

巨大なネットワークの中には最初から高性能な小さな部分構造が含まれている——プルーニングはそれを取り出す作業だ、という考え方です。プルーニングと宝くじ仮説はセットで押さえることがあります。

実行速度を求めるなら構造化が選ばれます。「小さくなる」と「速くなる」は別だという点が重要です。