医療AI評価ワークベンチ
予測スコアと正解ラベルを貼り付けると、ROC曲線・AUCの信頼区間・校正曲線・決定曲線・2モデルの比較までをまとめて計算します。論文を読むとき、自分のモデルを評価するとき、導入を検討するときに使えます。
- データは外部に送信しません
- インストール不要
- 計算結果をPythonで照合済み
1. データを入れる
1行が1症例です。正解ラベル(0=陰性、1=陽性)と、モデルのスコア(確率や点数)の列を用意してください。Excelからそのまま貼り付けられます。スコアの列を2つにすると、2モデルの比較ができます。
入力したデータは、お使いのブラウザの中だけで計算に使います。サーバーへの送信や保存は行いません。それでも、氏名や患者IDなど個人を特定できる列は入れないでください(計算には不要です)。
かっこ内は95%信頼区間(Wilson法)。信頼区間が広いときは、症例数が足りていない目安になります。
PR曲線は、横軸に再現率(感度)、縦軸に適合率(陽性的中率)をとった図です。点線は「全員を陽性と判定した場合」の適合率で、データ内の有病率と同じ値になります。
陽性が少ないデータでは、ROC曲線は良く見えても、PR曲線は低くなることがあります。「陽性と判定された人のうち、本当に陽性なのは何割か」が実用上の関心であるときは、こちらも確認してください。サンプル④で違いを確かめられます。
点が対角線の上にあるほど、予測した確率と実際の割合が一致しています。縦の棒は95%信頼区間、下の灰色の棒は予測確率の分布です。
閾値確率とは、「病気の確率が何%以上なら、検査や治療に進むか」という判断の基準です。見逃しを強く避けたい場面ほど、低い値になります。
ネットベネフィットは、「正しく見つけた人の割合」から「不要な対応をした人の割合(閾値確率に応じて重みづけ)」を引いた値です。モデルの線が、「全員に対応」と「誰にも対応しない」の両方より上にある範囲で、モデルを使う価値があると読みます。
「ROC・閾値」タブで選んだ閾値の感度・特異度をそのまま使い、有病率だけを変えたときに、陽性的中率と陰性的中率がどうなるかを計算します。同じAIでも、使う場所の有病率が変わると、「陽性」の意味は大きく変わります。
この計算は、感度と特異度が有病率によらず一定だと仮定しています。実際には、患者層や装置が変わると感度・特異度そのものが変わることがあります。
AUCの差の検定は、同じ症例に2つのモデルを当てた場合(対応のあるデータ)のDeLong法です。別々の症例で評価した2モデルの比較には使えません。
現在の設定での結果を、文章にまとめました。メモや報告の下書きとして使えます。数値の意味と限界は、必ずご自身で確認してください。
ブートストラップ信頼区間平均適合率・Brierスコア・AUCの差
症例を重複ありで選び直す操作を繰り返し、指標のばらつきから95%信頼区間(パーセンタイル法)を求めます。式で信頼区間を出しにくい指標にも使えます。
使い方
- データを貼り付ける。正解ラベルの列と、スコアの列を用意します。列の順番は問いません(読み込んだあとに選べます)。
- 「計算する」を押す。AUCなどの数値と、7つのタブが表示されます。
- 閾値を動かす。「ROC・閾値」タブのスライダーで閾値を変えると、混同行列・感度・特異度・的中率が連動します。この閾値は「有病率を変える」タブとレポートにも反映されます。
データの形式の例
label,model_a,model_b 0,0.12,0.20 1,0.87,0.64 0,0.33,0.41 1,0.58,0.37
- 正解ラベルは
0/1のほか、陰性/陽性、negative/positive、FALSE/TRUEでも読めます。 - スコアは確率(0〜1)でなくても構いません。その場合、ROC・PR曲線は計算できますが、校正と決定曲線は表示されません。
- ラベルかスコアが空の行、数値として読めない行は、自動で除外して件数を表示します。
それぞれの指標で分かること
AUCと信頼区間
AUCは、「陽性の症例と陰性の症例を1件ずつ選んだとき、陽性のほうに高いスコアが付いている確率」です。0.5がでたらめ、1.0が完全な分離にあたります。AUCは閾値によらない指標なので、「この閾値で何件の見逃しが出るか」は分かりません。閾値を決めたときの感度と特異度を、あわせて確認してください。スコアの分布から直感をつかみたいときは、ROC曲線シミュレータが役立ちます。
校正(キャリブレーション)
「確率30%」と出た症例のうち、実際に陽性なのが約30%なら、そのモデルはよく校正されています。AUCが同じでも、校正が悪いモデルは確率をそのまま判断に使えません。校正の傾きが1より小さいと、予測が極端すぎる(高い確率は高すぎ、低い確率は低すぎ)ことを示します。全体のずれ(CITL)は0が理想で、正なら全体に低く見積もり、負なら高く見積もっています。
決定曲線
AUCや校正が「モデルの性質」を表すのに対して、決定曲線は「このモデルを使って判断すると、使わない場合より得か」を表します。現場で想定される閾値確率の範囲で、モデルの線が「全員に対応」「誰にも対応しない」の両方を上回っているかを見ます。
有病率と的中率
感度と特異度が同じでも、有病率が下がると陽性的中率は大きく下がります。検診のように病気の人が少ない場面では、「陽性」と判定された人の多くが、実際には病気でないことがあります。考え方はベイズの定理シミュレータと、ブログ記事「医療AIの『精度95%』をどう読むか」でくわしく説明しています。
計算方法
- AUC:順位にもとづく計算(Mann–WhitneyのU統計量と同じ値)。同じスコアの症例は0.5件として数えます。
- AUCの95%信頼区間・2モデルの差の検定:DeLong法(DeLong ら, 1988)。差の検定は対応のあるデータ用で、両側検定です。
- 感度・特異度・的中率・正解率の95%信頼区間:Wilsonのスコア法。
- 平均適合率(AP):閾値ごとの適合率を、再現率の増分で重みづけして合計(補間なし)。scikit-learn の
average_precision_scoreと同じ定義です。 - Brierスコア:予測確率と正解(0/1)の差の二乗の平均。ECE:区間ごとの「予測確率の平均と実際の陽性割合の差」を、人数で重みづけした平均。
- 校正の傾き・切片:予測確率のロジットを説明変数にしたロジスティック回帰。CITLは傾きを1に固定したときの切片です。
- ネットベネフィット:(真陽性の数 − 偽陽性の数 × 閾値確率 ÷(1 − 閾値確率))÷ 全症例数(Vickers & Elkin, 2006)。
- ブートストラップ信頼区間:症例を重複ありで選び直すパーセンタイル法(2.5〜97.5パーセンタイル)。乱数の種は固定しているので、同じデータなら同じ結果になります。
計算結果は、本ツールとは別に書いたPythonのプログラム(定義どおりに総当たりで計算する実装)と突き合わせ、すべての指標で一致することを確認しています。
注意と限界
- このツールは、学習と研究の補助を目的としています。診断・治療の判断や、製品の性能を保証する目的には使えません。
- 症例数が少ないとき(とくに陽性か陰性のどちらかが少ないとき)は、信頼区間が広くなり、結果が安定しません。
- モデルを作るのに使ったデータで評価すると、成績は実際より良く出ます。評価には、学習に使っていないデータ(できれば別の施設のデータ)を使ってください。この点は、医療AIコースのレッスン11「バイアス・分布シフト・検証」で扱っています。
- 論文に載せる数値は、統計ソフトでも再計算して確かめることをおすすめします。
よくある質問
入力したデータは、どこかに送信されますか?
送信されません。計算はすべて、お使いのブラウザの中で行います。ページを閉じるか再読み込みすると、入力したデータは消えます。
何件くらいのデータまで扱えますか?
5万行までを目安にしています。ブートストラップは件数が多いほど時間がかかります(数千件なら数秒程度です)。
スコアが高いほど「陰性」のモデルはどうすればよいですか?
データを読み込んだあとに表示される「スコアが低いほど陽性(向きを反転する)」にチェックを入れてください。
本ツールの数値例(サンプルデータ)は、説明のために作成した仮のデータです。実在の検査・製品の性能を示すものではありません。ご利用は免責事項をご確認のうえ、ご自身の判断でお願いします。不具合や要望はお問い合わせからお知らせください。