③ ディープラーニングの概要／ 13. 誤差関数

カルバック・ライブラー情報量 (KL)とは

KLダイバージェンスとは、2つの確率分布の「ずれ」を定量化する指標です。非対称であり距離ではない点が試験で取り違えやすいポイントです。

この用語はG検定シラバスの「13. 誤差関数」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

2つの確率分布がどれだけ違うかを測る指標。ただし「距離」ではありません。

定義

\( D_{KL}(P \| Q) = \sum P(x) \log \frac{P(x)}{Q(x)} \)

\( P \)：真の分布、\( Q \)：近似分布です。2つの分布が完全に一致するとき0になり、離れるほど大きな値になります。

距離と呼ぶためには「AからBまで」と「BからAまで」が等しい（対称性）必要があります。

しかしKL情報量では、PとQを入れ替えると値が変わります。対称性が成り立たないため、数学的には距離ではありません。この点はそのまま選択肢になります。

変分オートエンコーダ（VAE）の学習で、潜在変数の分布を目標の分布に近づけるために用いられます。

また交差エントロピーとも密接に関係しており、分類の学習は実質的にKL情報量の最小化とみなせます。

KL情報量は情報理論にもとづく指標です。情報理論では、めったに起きないことほど「情報量が大きい」と考えます。

KL情報量は「真の分布Pのつもりで見たときに、近似分布Qがどれだけ余計な情報量を必要とするか」を表しています。Qで代用したときの損と捉えると理解しやすくなります。