医療経済指標

トピック 79 / 91· AI加速

臨床AI評価

臨床AIまたは診断モデルを評価するための中核的な統計量:感度、特異度、AUROC、予測値、そして必要スクリーニング数。中心的な経済学の教訓:優れたAUROCは費用効果的な展開を意味しません — 価値は運用ポイント、有病率、そしてすべての陽性の下流で何が起こるかに依存します。

なぜ重要か

規制当局(FDA、MHRA)は、固定された運用ポイントで臨床AIを認可します — 特定の感度/特異度のペアです(例えば、最初にFDAが承認した自律型糖尿病性網膜症システム:重要な試験で感度87.2%、特異度90.7%)。医療経済学者はその後、精度のメトリクスが答えられない問いを尋ねます:あなたの展開対象集団の有病率では、各検出は何を犠牲にするのか、そしてそれに基づいて行動する価値はあるのか?網膜症スクリーニングAIの経済評価(npj Digital Medicine 2024)は、紹介費用を数えると、精度の高さだけでは費用効果性を保証しないことを示しました。

数式

感度 = TP / (TP + FN)        — 真の陽性のうち、捕まえられた割合
特異度 = TN / (TN + FP)      — 真の陰性のうち、除外された割合
AUROC = P(モデルがランダムな陽性をランダムな陰性より上位に格付けする)
       0.5が偶然…1.0が完璧;閾値に依存しない — したがって
       展開の意思決定には不十分

PPV = TP / (TP + FP)   ← 有病率に依存する(ベイズ);まれな場合に崩壊する
NPV = TN / (TN + FN)

NNS  ≈ 1 / (有病率 × 感度)       — 真の症例1件を見つけるためにスクリーニングされる数
真の症例1件あたりの費用 = プログラム費用 / TP      — 経済的な結論

計算例

同じモデル、2つの現場 — 感度90%、特異度93%:

専門診療所(有病率20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → アラートの4件中3件が本物

プライマリケア(有病率1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → アラートの9件中8件が偽;精密検査は1件£350:
  真の症例1件あたりの費用 = (0.009 + 0.0693) × 350 / 0.009 ≈ 見つかった症例1件あたり£3,045

同一のモデルで、劇的に異なる経済性です — これが、現場ごとの評価が規制上のテーマであり、「私たちのモデルはAUROC0.95です」が経済的ケースの終わりではなく始まりである理由です。プログラム全体の計算についてはスクリーニングの経済学を参照してください。

ソフトウェア工学との関連

臨床AIを構築または購入するエンジニアにとって:ROC曲線だけでなく、展開時の有病率における混同行列を出荷すること;閾値を経済的な意思決定にすること — 感度/特異度のトレードオフは、ベンチマークの統計量を最大化するのではなく、期待される費用(見逃された症例×見逃しの費用対誤警報×精密検査の費用)を最小化すべきです;そして同じ数学が自分自身のツールにも当てはまることを認識してください — アラートシステム、異常検知器、セキュリティスキャナーは、低有病率のイベントストリームにわたる診断検査であり、アラート疲れはNNHです。運用ポイントを移動させるモデルの更新は、経済性を(そして規制上の許可も — AI規制評価を参照)再び開きます。

落とし穴

  • AUROCの買い物:1つの閾値で運用されるにもかかわらず、AUROCでモデルを比較すること — 運用ポイントで比較してください。
  • 実世界の展開に引用される試験有病率でのPPV — 典型的な誤りです;常に地域の有病率で再計算してください。
  • スペクトラムバイアス:明らかな症例対健康な対照群で検証されたモデルは、実践を支配する曖昧な中間層で過大評価されます。
  • 下流の経路費用計算がないこと:すべての陽性は精密検査を引き起こします;モデルは経路全体の経済性への介入です。

出典