1. 「他院では動かないAI」問題
医療AIの論文には「精度98%」といった華々しい数字が並びます。 ところが、そのモデルを別の病院に持っていくと、性能がガクッと落ちることがよくあります。 なぜでしょうか。原因の代表格が分布シフトです。
💡 分布シフトとは： 学習に使ったデータと、実際に使う場面のデータで、データの分布（傾向）がずれていることです。 医療では、病院ごとに撮影装置・撮影条件・患者層が違うため、 同じ「CT画像」でも施設ごとに微妙に（ときに大きく）分布が異なります。 学習時に見た分布でしか通用しないモデルは、別分布の施設で崩れます。
2. 実験 — 施設Aで学び、施設Bで試す
分布シフトを実際に起こしてみましょう。2つの特徴量を持つ合成データで、 施設Aで学習したモデルを、全体に傾向がずれた施設Bで評価します （施設Bのずれは、装置や撮影条件の違いを模しています）。
⚠ 97.5% → 68.8%： 自施設では正解率0.975だったモデルが、傾向のずれた他施設では0.688まで落ちました。 モデルは施設Aの分布に合わせた境界を引いており、施設Bのずれた分布ではその境界が合わないのです。 「自施設のテストで高精度」は「どこでも高精度」を意味しない—— 医療AIで最も痛い勘違いの一つです。
3. データに潜むバイアスの種類
分布シフトのほかにも、医療データにはバイアス（偏り）が潜みます。 モデルは、与えられたデータの偏りをそっくり学んでしまうため、 開発者は「このデータはどう偏っているか」を最初に疑う必要があります。
| バイアス | 内容 | 医療での例 |
|---|---|---|
| ラベルバイアス | 正解ラベル自体に偏り・ゆらぎがある | 診断した医師の癖・見落としがラベルに混入 |
| 選択バイアス | 集めたデータが母集団を代表していない | 大学病院のデータは重症例に偏る（軽症は来ない） |
| スペクトラムバイアス | 病気の重さの分布が偏る | 明らかな進行例ばかりで学ぶと、早期・軽症を見逃す |
| 装置・施設バイアス | 特定の機種・施設に偏る（＝分布シフトの源） | 1機種のCTだけで学び、他機種で崩れる |
💡 レッスン9とつながる： バイアスの怖さは、モデルが「病気」ではなく「偏りの目印」を学んでしまうことです。 「病変ありの画像だけ特定機種で撮られていた」なら、モデルは機種特有の写り込みを見て当てるかもしれません。 Grad-CAMで変な場所を見ていないかを確認するのは、このバイアスを見つける手段でもあります。
4. 検証の階段 — どこまで確かめれば「使える」か
分布シフトやバイアスがある以上、「1回のテストで高精度」では現場に出せません。 医療AIの検証には、段階（階段）があります。上に行くほど「本当に使える」証拠が強くなります。
| 段階 | 内容 | 分かること |
|---|---|---|
| ① 内部検証 | 同じ施設のデータを分割してテスト（本コースでやってきたこと） | 基本的な性能。ただし分布シフトは見えない |
| ② 外部検証 | 別の施設のデータでテスト | 他施設でも通用するか（分布シフト耐性） |
| ③ 前向き検証 | これから来る患者で実際の運用の流れに沿って評価 | 本番に近い条件での性能 |
| ④ 運用後モニタリング | 導入後も性能が落ちていないか監視し続ける | 時間とともに劣化していないか |
レッスン2〜5で作ってきたのは①内部検証の世界でした。 現場で信頼される医療AIは、②外部検証・③前向き検証まで通ってはじめて評価されます。 そして導入後も、レッスン10の変更管理と結びつく④モニタリングで、 性能の劣化（分布が時間とともにずれていく）を監視し続けます。
⚠ 「前向き（プロスペクティブ）」の重み： 過去に集めたデータでの評価（後ろ向き）は、どうしても都合よく整ったデータになりがちです。 これから来る患者で、実際の運用の流れのまま評価する前向き検証は、 手間もコストもかかりますが、「本当に現場で使えるか」を示す最も強い証拠になります。 論文の高精度と現場の実力の差は、多くがこの段階の差です。
5. 練習問題
ずれをもっと大きくすると？
sample_1 の施設Bのずれを [1.0, 1.0] から [2.0, 2.0] に大きくすると、
施設Bの正解率はどうなるでしょうか。予想してから実行してください。
ヒントを見る（答え＋解説）
X_B, y_B = make_facility(shift=[2.0, 2.0], seed=2)正解率は約 0.52——ほぼ「あてずっぽう（50%）」まで落ちます。 ずれが大きいほど、施設Aで引いた境界はまったく通用しなくなります。 現実には、これほど極端でなくても「装置が変わっただけ」で実用に耐えない水準まで落ちることがあります。 外部検証をしないと、この崩壊に気づけません。
このバイアスはどれ？
「ある大学病院のデータだけでAIを作ったら、重症例には強いが、クリニックに来るような軽症・早期の患者を見逃しやすかった」。 これは主にどのバイアスですか。
- A. ラベルバイアス
- B. 選択バイアス／スペクトラムバイアス
- C. まったくバイアスではない
答えと解説を見る
正解：B
大学病院には重症例が集まりやすく、集めたデータが母集団を代表していない（選択バイアス）、 かつ病気の重さの分布が重症に偏る（スペクトラムバイアス）状態です。 その結果、軽症・早期という「学習で薄かった領域」で性能が落ちます。 対策は、想定する使用現場に合ったデータを集め、外部検証で確かめることです。
どの検証が足りない？
「自施設の過去データを分割してテストし、正解率98%。すぐ全国の病院に導入しよう」。 この計画に足りない検証の段階を、レッスンの「検証の階段」から挙げてください。
答えと解説を見る
足りないのは ②外部検証・③前向き検証・④運用後モニタリング です。
この計画は①内部検証しかしていません。 全国展開するなら、まず別施設のデータで外部検証して分布シフト耐性を確かめ、 前向き検証で本番に近い条件を確認し、導入後もモニタリングで劣化を監視する必要があります。 「自施設98%」だけで全国導入は、今日の実験で見たとおり危険です。
6. まとめ
このレッスンのポイント
- 分布シフト：施設・装置・患者層の違いで、自施設97.5%が他施設68.8%に低下（実験で確認）
- 医療データのバイアス：ラベル・選択・スペクトラム・装置/施設。モデルは偏りごと学ぶ
- モデルが「病気」でなく「偏りの目印」を学ぶ危険。Grad-CAM（レッスン9）で確認できる
- 検証の階段：①内部 → ②外部 → ③前向き → ④モニタリング。上ほど「本当に使える」証拠が強い
- 「論文で高精度・現場で動かない」の多くは外部/前向き検証の欠如が原因
これで医療AI開発の全ステップ——データ・モデル・評価・説明・規制・運用——を一巡しました。 最後のレッスンでは、これらを1本のフローにつなぐ総合演習と、 現場で使える医療AI開発チェックリストでコースを締めくくります。
完了するとコース一覧に進捗が記録されます