⑤ ディープラーニングの応用例／ 34. モデルの軽量化

蒸留とは

蒸留とは、高性能な教師モデルの出力を、軽量な生徒モデルに学習させることで、精度を保ちつつ軽量化する手法です。知識蒸留（Knowledge Distillation）とも呼ばれます。

この用語はG検定シラバスの「34. モデルの軽量化」に含まれます。章全体の用語は用語解説⑤（全133語）にまとまっています。

大きくて賢いモデルの答え方を、小さなモデルに教え込んで軽量化する手法です。

正解ラベルより豊かな情報

生徒モデルが学ぶのは正解ラベルではなく、教師モデルが出力した確率分布です。

「犬90%・猫8%・馬2%」という出力には、「犬だが猫にも少し似ている」という判断のニュアンスが含まれます。正解ラベル（犬＝1、他＝0）だけでは伝わらない情報です。

この豊かな情報のおかげで、小さなモデルでもゼロから学習するより高い精度に到達できます。

プルーニングや量子化が元のモデルを加工するのに対し、蒸留は別の小さいモデルを新しく育てます。

構造を自由に設計できるため、端末に合わせた最適化がしやすい点が利点です。

教師の出力をそのまま使うと正解クラスだけが極端に高くなり、他のクラスの情報がほとんど残りません。

そこで出力をなだらかにする調整（温度）を加え、「猫にも少し似ている」といった情報を伝わりやすくします。