医療AIラボ|無料ツール

医療AI評価ワークベンチ

予測スコアと正解ラベルを貼り付けると、ROC曲線・AUCの信頼区間・校正曲線・決定曲線・2モデルの比較までをまとめて計算します。論文を読むとき、自分のモデルを評価するとき、導入を検討するときに使えます。

  • データは外部に送信しません
  • インストール不要
  • 計算結果をPythonで照合済み
まず試してほしいこと 下の「サンプルを入れる」から ②確率が極端なモデル を選び、「校正」タブを開いてください。AUCは高いのに、予測した確率が実際の割合とずれている様子が分かります。AUCだけでは見えない性質です。

1. データを入れる

1行が1症例です。正解ラベル(0=陰性、1=陽性)と、モデルのスコア(確率や点数)の列を用意してください。Excelからそのまま貼り付けられます。スコアの列を2つにすると、2モデルの比較ができます。

サンプルを入れる:

入力したデータは、お使いのブラウザの中だけで計算に使います。サーバーへの送信や保存は行いません。それでも、氏名や患者IDなど個人を特定できる列は入れないでください(計算には不要です)。

使い方

  1. データを貼り付ける。正解ラベルの列と、スコアの列を用意します。列の順番は問いません(読み込んだあとに選べます)。
  2. 「計算する」を押す。AUCなどの数値と、7つのタブが表示されます。
  3. 閾値を動かす。「ROC・閾値」タブのスライダーで閾値を変えると、混同行列・感度・特異度・的中率が連動します。この閾値は「有病率を変える」タブとレポートにも反映されます。

データの形式の例

label,model_a,model_b
0,0.12,0.20
1,0.87,0.64
0,0.33,0.41
1,0.58,0.37
  • 正解ラベルは 0/1 のほか、陰性/陽性、negative/positive、FALSE/TRUE でも読めます。
  • スコアは確率(0〜1)でなくても構いません。その場合、ROC・PR曲線は計算できますが、校正と決定曲線は表示されません。
  • ラベルかスコアが空の行、数値として読めない行は、自動で除外して件数を表示します。

それぞれの指標で分かること

AUCと信頼区間

AUCは、「陽性の症例と陰性の症例を1件ずつ選んだとき、陽性のほうに高いスコアが付いている確率」です。0.5がでたらめ、1.0が完全な分離にあたります。AUCは閾値によらない指標なので、「この閾値で何件の見逃しが出るか」は分かりません。閾値を決めたときの感度と特異度を、あわせて確認してください。スコアの分布から直感をつかみたいときは、ROC曲線シミュレータが役立ちます。

校正(キャリブレーション)

「確率30%」と出た症例のうち、実際に陽性なのが約30%なら、そのモデルはよく校正されています。AUCが同じでも、校正が悪いモデルは確率をそのまま判断に使えません。校正の傾きが1より小さいと、予測が極端すぎる(高い確率は高すぎ、低い確率は低すぎ)ことを示します。全体のずれ(CITL)は0が理想で、正なら全体に低く見積もり、負なら高く見積もっています。

決定曲線

AUCや校正が「モデルの性質」を表すのに対して、決定曲線は「このモデルを使って判断すると、使わない場合より得か」を表します。現場で想定される閾値確率の範囲で、モデルの線が「全員に対応」「誰にも対応しない」の両方を上回っているかを見ます。

有病率と的中率

感度と特異度が同じでも、有病率が下がると陽性的中率は大きく下がります。検診のように病気の人が少ない場面では、「陽性」と判定された人の多くが、実際には病気でないことがあります。考え方はベイズの定理シミュレータと、ブログ記事「医療AIの『精度95%』をどう読むか」でくわしく説明しています。

計算方法

  • AUC:順位にもとづく計算(Mann–WhitneyのU統計量と同じ値)。同じスコアの症例は0.5件として数えます。
  • AUCの95%信頼区間・2モデルの差の検定:DeLong法(DeLong ら, 1988)。差の検定は対応のあるデータ用で、両側検定です。
  • 感度・特異度・的中率・正解率の95%信頼区間:Wilsonのスコア法。
  • 平均適合率(AP):閾値ごとの適合率を、再現率の増分で重みづけして合計(補間なし)。scikit-learn の average_precision_score と同じ定義です。
  • Brierスコア:予測確率と正解(0/1)の差の二乗の平均。ECE:区間ごとの「予測確率の平均と実際の陽性割合の差」を、人数で重みづけした平均。
  • 校正の傾き・切片:予測確率のロジットを説明変数にしたロジスティック回帰。CITLは傾きを1に固定したときの切片です。
  • ネットベネフィット:(真陽性の数 − 偽陽性の数 × 閾値確率 ÷(1 − 閾値確率))÷ 全症例数(Vickers & Elkin, 2006)。
  • ブートストラップ信頼区間:症例を重複ありで選び直すパーセンタイル法(2.5〜97.5パーセンタイル)。乱数の種は固定しているので、同じデータなら同じ結果になります。

計算結果は、本ツールとは別に書いたPythonのプログラム(定義どおりに総当たりで計算する実装)と突き合わせ、すべての指標で一致することを確認しています。

注意と限界

  • このツールは、学習と研究の補助を目的としています。診断・治療の判断や、製品の性能を保証する目的には使えません。
  • 症例数が少ないとき(とくに陽性か陰性のどちらかが少ないとき)は、信頼区間が広くなり、結果が安定しません。
  • モデルを作るのに使ったデータで評価すると、成績は実際より良く出ます。評価には、学習に使っていないデータ(できれば別の施設のデータ)を使ってください。この点は、医療AIコースのレッスン11「バイアス・分布シフト・検証」で扱っています。
  • 論文に載せる数値は、統計ソフトでも再計算して確かめることをおすすめします。

よくある質問

入力したデータは、どこかに送信されますか?

送信されません。計算はすべて、お使いのブラウザの中で行います。ページを閉じるか再読み込みすると、入力したデータは消えます。

何件くらいのデータまで扱えますか?

5万行までを目安にしています。ブートストラップは件数が多いほど時間がかかります(数千件なら数秒程度です)。

スコアが高いほど「陰性」のモデルはどうすればよいですか?

データを読み込んだあとに表示される「スコアが低いほど陽性(向きを反転する)」にチェックを入れてください。

スポンサーリンク

本ツールの数値例(サンプルデータ)は、説明のために作成した仮のデータです。実在の検査・製品の性能を示すものではありません。ご利用は免責事項をご確認のうえ、ご自身の判断でお願いします。不具合や要望はお問い合わせからお知らせください。