ROC曲線シミュレータ
— 閾値と感度・特異度・AUCの関係を確認する
モデルの出すスコアは、陰性の山と陽性の山、2つの分布として広がっています。 判定の閾値バーを滑らせると、感度・特異度とROC曲線上の点が連動して動き、 「ROC曲線とは閾値を動かした軌跡である」ことが体でわかります。 山を近づけたり離したりして、AUCが何を測っているのかも確かめてください。
② 山の距離を0にする → 2つの山が完全に重なり、ROCは対角線・AUC=0.5(あてずっぽう)に
③ 山の距離を最大にする → ほぼ完全に分離し、AUC→1.0。 つまり閾値は「曲線上のどこに立つか」、モデルの性能は「曲線の形(AUC)」——この分業が核心です。
AUC: —
| 陽性1000人 | 陰性1000人 | |
|---|---|---|
| 判定+ | TP | FP |
| 判定− | FN | TN |
青=陰性の山・赤=陽性の山・縦線=閾値(濃赤=見逃しFN・橙=過剰検出FP)
ROC曲線(横軸=偽陽性率、縦軸=感度)。●=現在の閾値の位置。閾値を動かすと曲線の上を滑ります
ROC曲線とは — 「閾値を動かした軌跡」
ROC曲線は、判定の閾値をゆるめていったときの (偽陽性率、感度)の軌跡です。 閾値を最大から下げていくと、まず陽性の山の右端が「陽性判定」になり(感度が上がり)、 やがて陰性の山にも食い込んで偽陽性率も上がる——その道のりが曲線になります。
- AUC(曲線の下の面積)は、閾値の選び方によらないモデルの識別力。1.0=完全分離、0.5=でたらめ
- AUCには「ランダムに選んだ陽性のスコアが、陰性のスコアを上回る確率」という確率的な解釈もあります
- 閾値をどこに置くかは運用の判断(見逃しと過剰検出のコスト比)で決める——AUCは教えてくれません
閾値の置き方 — 2つのボタンの意味
シミュレータの2つのボタンは、代表的な閾値戦略に対応しています。
- バランス点(Youden指数)……感度+特異度−1 が最大になる点。左上にいちばん近い、バランスの良い閾値
- 見逃し重視(感度95%)……がん検診のふるい分けのように「見逃せない」場面の閾値。感度を確保する代わりに偽陽性が増えることを、混同行列の数字で確認してください
この「見逃しvs過剰検出」の綱引きは、姉妹ツールの ベイズの定理シミュレータで扱った有病率の話とつながります。 ROCは有病率に依存しない一方、陽性的中率(PPV)は有病率しだい——両方のツールを行き来すると、評価指標の全体像がつかめます。
E資格 練習問題
ROC曲線とAUCに関する記述として、誤っているものはどれか。
- ROC曲線は、判定閾値を変化させたときの偽陽性率と真陽性率(感度)の組を結んだ曲線である
- AUCが0.5に近いほど、モデルの識別力はランダムな判定に近い
- 判定の閾値を変えると、AUCの値も大きく変化する
- ROC曲線が左上の角に近いほど、識別力の高いモデルといえる
解答と解説を見る
正解:C が誤り
AUCはすべての閾値にわたる軌跡(曲線)の下の面積なので、閾値を変えても変わりません。
変わるのは曲線上のどの点に立つかだけです(シミュレータで閾値を動かしてもAUC表示が動かないことを確認してください)。
A・B・Dは正しい記述です。
評価指標の理論は E資格の試験内容解説から、 scikit-learnでROC/AUCを計算する体験は E資格コーディング対策コース・レッスン10で深められます。
\ 公式LINE・登録無料 /
友だち追加で4大特典をプレゼント中🎁
E資格ミニ模試(全15問)/覚えておくべき数式チェック49本
医療現場の生成AI安全活用ガイド/医療AI用語事典100