AIが間違えたとき、医師は引きずられるのか｜頭部CTの実験で見えた「過信」と「過少依存」

結論：引きずられるより「退ける」ほうが痛かった

先に要点を3つだけ置いておきます。

• AIの助言を見た読影者には、誤った助言に従ってしまう「過信」と、正しい助言に従わない「過少依存」の両方が起きた
• 診断成績への悪影響は、絶対的な影響で見ると過少依存のほうが大きかった。過少依存は、読影者の不確実性が高い場面と関連していた
• 判定の根拠を画像上に示すAI（説明可能AI）は、正しい助言のときに成績と確信度を上げた。ただし読影時間は短くならず、研究チームはそれだけでは足りないと結論づけている

「AIに引きずられるのが怖い」という議論はよく聞きますが、この実験が示したのは、AIをうまく使えないことによる損失も同じくらい、あるいはそれ以上に問題になりうるということです。

なぜこの実験が必要だったのか

画像診断AIの性能は、多くの場合「AI単独で何%当てたか」で評価されます。ところが実際の現場では、AIが単独で診断するわけではありません。AIの判定を見た人間が、最終的に判断します。

研究チームは冒頭で、医療者とAIの組み合わせが、人の単独やAI単独の成績を上回らないことが少なくないと指摘しています。性能の高いAIを入れても、人がその助言をどう受け取るかで、結果は変わってしまうのです。

そこでこの研究は、熟練した読影者と経験の浅い読影者が、AIの助言にどう反応するかを、同じ画像・同じ条件で比べました。あわせて、判定の根拠を示すAI（説明可能AI）が、その反応を良い方向に変えられるかも検証しています。

実験の設計

参加者は125人。内訳は、その分野の専門家にあたる放射線科医50人と、経験の浅い側にあたる放射線科以外の医師と、研修中の医療者（medical trainees）あわせて75人です。全員が医師というわけではありません。題材は、緊急性の高い頭部CTの頭蓋内出血でした。

参加者は3回のセッションに参加し、各セッションで50例の頭部CTを読影しました。条件は次の3つです。

この実験の要は、②と③のAIの助言のうち2割を、わざと誤りにしていることです。正しい助言が8割、誤った助言が2割。こうすることで、「AIが間違えたときに人はどうするか」を観察できます。

条件を受ける順番は参加者ごとにランダムに割り付けられ（6つのグループ）、全員が3つの条件をすべて経験します。このように同じ人が複数の条件を順番に受ける設計をクロスオーバーと呼びます。人による読影力の差を打ち消して、条件の違いだけを比べやすくする工夫です。測ったのは、診断の正確さ、確信度、1例あたりの読影時間、助言の有用性の評価でした。研究計画はあらかじめ登録（事前登録）されています。

「過信」と「過少依存」の定義

この研究のいちばん大事な道具立ては、AIへの頼り方を2つの失敗に分けて数えたことです。AIの助言が正しいか誤りか、最終判断がそれに従ったか従わなかったかで、4つの組み合わせができます。

• 過信（over-reliance）……誤った助言と同じ判断をしてしまう。誤りに引きずられる失敗
• 過少依存（under-reliance）……正しい助言と違う判断をしてしまう。正しい助言を活かせない失敗

これは、AIの助言の正誤と、人の最終判断がその助言に従ったかどうかを組み合わせた2×2の分類表です。見た目は機械学習の混同行列に似ていますが、混同行列が「AIの予測と正解」を比べるのに対し、こちらは人がAIの助言をどう扱ったかを分類しています。この分類によって、AIへの適切な依存、過信、過少依存を区別して数えられるようになります。

結果①：両方起きた。影響が大きかったのは過少依存

結果として、過信と過少依存の両方が起きました。熟練者であっても、AIの助言の影響を受けないわけではなかったということです。

そのうえで研究チームが強調しているのが、次の点です。

読影者の不確実性が高い場面で、正しい助言が活かされない——迷いが残る場面ほど、AIの正しい指摘を判断に取り込めていない可能性がうかがえます（抄録が示しているのは「関連」で、因果関係までは示していません）。AIの導入を議論するとき、私たちはつい「AIの誤りに引きずられる危険」ばかりを心配します。しかしこの実験では、反対側の失敗のほうが、成績を大きく下げていました。

結果②：根拠を示すAIは効いた。ただし万能ではない

では、判定の根拠を画像上に示す③の条件（説明可能AI）は、この問題を解決したのでしょうか。結果は「効いた部分」と「効かなかった部分」に分かれました。

オッズ比1.84は、正しく診断できるオッズが、AIなしの条件に対して1.84倍だったことを示します。正診率そのものが1.84倍になったという意味ではありません（オッズは「当たる確率÷外れる確率」で、確率とは別の量です）。根拠を示すことには、正しい指摘を人に受け入れてもらいやすくする効果があったと読めます。

ただし、研究チームの結論は楽観的ではありません。過信と過少依存の両方が起きた以上、従来の説明可能AIの手法を超える対策が必要だ——これが論文の締めくくりです。根拠を示すことは出発点であって、それだけで人とAIの協働がうまくいくわけではない、ということです。

説明可能AIの代表的な手法（Grad-CAMなど）の仕組みは、G検定用語：XAIやE資格対策：深層学習の説明性で解説しています。

医療現場の視点から読む

ここからは、医療現場で見聞きする範囲の実感と照らし合わせて、この結果を読んでみます。

現場は「AIに指摘されたら、慎重に見直す」

筆者の実感では、現場でよく見るのは「AIは当てにならない」と無視する場面より、「AIがそう言うなら」と引っ張られる場面のほうです。ただ、それは盲信とは少し違います。医療は見逃しを防ぐことを何より重視するので、自分では気づかなかった所見をAIに指摘されると、その部分を慎重に精査し直す——これが多くの場合の実際の動き方です。

この動き方は、AIの指摘が正しいときには大きな力になります。一方でこの実験では、正しい指摘が判断に取り込まれない「過少依存」が、読影者の不確実性が高い場面と関連していたことが示されました。「AIは参考扱い」という現場の原則は正しいのですが、それが「迷ったらAIを無視する」に変わってしまうと、過少依存の側に倒れる——この研究の結果は、その危うさを考える手がかりになります。

根拠の表示は、現場では「非常に役に立つ」

判定の根拠を示す表示について、現場の手応えははっきりしています。たとえば胸部X線写真で疑わしい所見の位置をヒートマップで示すAIは、どこを確認すべきかがすぐ分かるため、とても有用だと感じます。この実験で注釈つきのAIが「役に立つ」と評価されたこと、成績を上げたことは、現場の実感とよく一致しています。

大原則は「AIの結果をそのまま使わない」

見落とすと重大な場面でAIを使うときの原則は、AIは参考扱いにし、結果を絶対にそのまま使わないことです。最終的な判断は、資格と責任を持つ人が行います。この原則と、この研究の結論は矛盾しません。むしろ、「参考にする」の中身——どんなときに、どこまでAIの指摘を取り入れるか——を考える材料になります。

開発する側として：根拠を確かめられる設計と、その先の課題

AIを作る側の立場から言えば、医療AIでは何をもってそう判定したのかを、使う人が確かめられる設計が重要だと考えます。画像AIならヒートマップ、生成AIなら文章で根拠を示す。説明可能AI（XAI）が重視されているのはそのためです。

ただし、説明の表示そのものが正確で信頼できるかも、別に検証する必要があります。ヒートマップや注釈は、AIの内部の判断を必ずしも忠実に表しているとは限りません。もっともらしい根拠の表示が、かえって誤った助言への過信を招く可能性もあります。

そのうえでこの研究は、根拠を見せるだけでは、過信も過少依存もなくならないことを示しました。迷いやすい症例でどう提示するか、AIの確からしさをどう伝えるか、使う人がAIの得意・不得意をどう学ぶか——「見せ方」と「使い方」の設計が、次の課題として残っています。

この研究の限界

結果を読むうえで、押さえておきたい前提があります。

また本記事は、公開されている抄録の範囲で数値を引用しています。過信・過少依存がそれぞれ何件起きたか、熟練者と初学者でどう違ったかといった詳細は、論文本文で確認してください。

まとめ

• 医療者125人（放射線科医50人・放射線科以外の医師と研修中の医療者75人）が、AIなし／AIの判定のみ／判定＋注釈の3条件で、各セッション50例の頭部CTを読影した（計3セッション）。AIの助言の2割はわざと誤り
• 誤りに引きずられる「過信」と正しい助言に従わない「過少依存」の両方が起きた
• 診断成績への悪影響が大きかったのは過少依存（絶対的な影響で比較）。過少依存は、読影者の不確実性が高い場面と関連していた
• 根拠の注釈つきAIは、正しい助言のときに、AIなしの条件と比べて成績（オッズ比1.84）と確信度を上げた。ただし読影時間は短くならなかった
• 研究チームの結論は、従来の説明可能AIを超える対策が必要
• 現場の原則「AIは参考扱い・結果をそのまま使わない」は正しい。そのうえで、「参考にする」の中身を設計することが次の課題

AIの性能が上がるほど、問われるのは「AIが何%当てるか」ではなく、「人がAIをどう使うか」になっていきます。MASAI試験がAIを「どの工程に差し込むか」を示したのに対し、この実験は差し込んだ先で、人がAIとどう向き合うかを照らした研究だと言えます。