③ ディープラーニングの概要／ 13. 誤差関数

交差エントロピーとは

交差エントロピーとは、分類問題において予測確率と正解ラベルの差を測る標準的な誤差関数です。ソフトマックス関数と組み合わせて使われる点が重要です。

この用語はG検定シラバスの「13. 誤差関数」に含まれます。章全体の用語は用語解説③（全52語）にまとまっています。

分類で使う標準的な誤差関数。予測した確率が正解からどれだけずれているかを測ります。

定義

\( L = -\sum y \log \hat{y} \)

\( y \)：正解ラベル、\( \hat{y} \)：予測確率です。

正解のクラスに対して高い確率を出せば損失は小さく、低い確率しか出せなければ損失は大きくなります。

正解クラスの予測確率が0に近づくと、対数の性質によって損失が急激に大きくなります。つまり自信を持って間違えると強く罰せられるのです。

この性質により、確率を正しく出すように学習が進みます。二乗誤差より分類の学習が速く進むことが知られています。

交差エントロピーは、カルバック・ライブラー情報量と密接に関係します。正解の分布を固定して考えると、交差エントロピーを最小化することはKL情報量を最小化することと同じになります。

クラスが2つの場合はバイナリ交差エントロピーと呼ばれ、シグモイド関数と組み合わせて使われます。

多クラスならソフトマックス、二値ならシグモイド——出力層の活性化関数と誤差関数はセットで決まると覚えておくと確実です。