② 機械学習の概要／ 10. モデルの選択・評価

ROC 曲線・AUCとは

ROC曲線とは、偽陽性率と真陽性率の関係を表す分類性能曲線です。AUCはその曲線の下側の面積を指し、しきい値に依存しない性能評価指標として重要です。

この用語はG検定シラバスの「10. モデルの選択・評価」に含まれます。章全体の用語は用語解説②（全62語）にまとまっています。

しきい値を変えたときの性能の変化を描いた曲線と、その下の面積による評価指標です。

曲線が表しているもの

分類モデルは確率を出力し、あるしきい値を超えたら陽性と判定します。しきい値を動かすと結果が変わります。

しきい値を少しずつ変えながらこの2つを打点していくと曲線が描けます。左上に近いほど良い性能です。

AUCは曲線の下側の面積で、0から1の値をとります。

特定のしきい値に依存せず、モデル全体の性能を1つの数値で比較できる点がAUCの利点です。不均衡データでも比較的扱いやすい指標として使われます。

ROC曲線は「しきい値を動かしたときの軌跡」です。 スライダーを動かすと、混同行列・真陽性率・偽陽性率が同時に変化する様子を目で追えるシミュレータを用意しています。AUCが何を意味しているかもつかみやすくなります。

ROC曲線は横軸に偽陽性率を取ります。陰性が圧倒的に多いデータでは、FPが多少増えても偽陽性率はあまり動きません。そのため性能が良く見えすぎることがあります。

そこで、適合率と再現率を軸にしたPR曲線を併用します。極端に不均衡な問題ではPR曲線のほうが実態を反映しやすいとされています。