第 79 個主題,共 91 個· 人工智慧加速

臨床AI評估

評估臨床AI或診斷模型的核心統計量:靈敏度、特異度、AUROC(受試者工作特徵曲線下面積)、預測值,以及需篩查人數。其核心經濟學教訓是:出色的AUROC並不等於具有成本效果的實際部署——價值取決於所選的運作點、患病率,以及每一次陽性結果之後下游會發生什麼。

為何重要

監管機構(FDA、英國MHRA)對臨床AI的授權是基於一個被鎖定的運作點——即某個特定的靈敏度/特異度組合(例如,首款獲FDA批准的自主式糖尿病視網膜病變檢測系統,在其關鍵試驗中靈敏度為87.2%,特異度為90.7%)。健康經濟學家隨後會提出一個純粹的準確率指標無法回答的問題:在你實際部署人群的患病率下,每一次檢出的成本是多少?據此採取行動是否值得?一項針對視網膜病變篩查AI的經濟評估(npj Digital Medicine,2024年)表明,一旦計入轉診成本,僅憑更高的準確率並不能保證具有成本效果。

計算方法

靈敏度 = TP / (TP + FN)        —— 真陽性中,被正確檢出的比例
特異度 = TN / (TN + FP)        —— 真陰性中,被正確排除的比例
AUROC  = P(模型將隨機一個陽性樣本排在隨機一個陰性樣本之前)
         0.5為純隨機……1.0為完美;與閾值無關——因此
         不足以據此作出部署決策

PPV(陽性預測值) = TP / (TP + FP)   ← 依賴患病率(貝葉斯定理);患病率低時會急劇下降
NPV(陰性預測值) = TN / (TN + FN)

需篩查人數(NNS) ≈ 1 / (患病率 × 靈敏度)       —— 每發現一例真陽性所需篩查的人數
每例真陽性成本 = 專案總成本 / TP      —— 這才是真正的經濟學底線

實例演算

同一個模型,兩種不同場景——靈敏度90%,特異度93%:

專科門診(患病率20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → 每4次警報中有3次是真實的

基層醫療(患病率1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → 每9次警報中有8次是假陽性;每次核查費用£350:
  每例真陽性成本 = (0.009 + 0.0693) × 350 / 0.009 ≈ 每例發現約£3,045

完全相同的模型,經濟學結論卻截然不同——這正是為何"按具體場地進行評估"是一項監管主題,也是為何"我們的模型AUROC為0.95"只是一份經濟學論證的開端,而絕非終點。完整的專案層面計算方法,參見篩查經濟學。

與軟體工程的聯絡

對於建置或採購臨床AI的工程師而言:應在實際部署患病率下提供混淆矩陣,而不能只提供ROC曲線;應讓閾值成為一項經濟學決策——靈敏度/特異度的權衡取捨應當以最小化預期成本為目標(漏診病例數 × 漏診成本 對比 假警報數 × 核查成本),而非以最大化某個基準統計量為目標;並應認識到,你自己的工具中同樣存在這套數學邏輯——警報系統、異常檢測器和安全掃描工具,本質上都是在低患病率的事件流上進行的診斷檢驗,警報疲勞正對應著需傷害人數(NNH)。凡是會改變運作點的模型更新,都會重新開啟整個經濟學問題(也會重新開啟監管獲批問題——參見AI監管評估)。

陷阱

  • AUROC購物式比較:在模型實際運作於單一閾值的情況下,僅按AUROC比較模型——應在實際運作點上進行比較。
  • 將試驗患病率下的PPV,直接用於真實世界部署場景——這是最經典的錯誤;應始終按當地實際患病率重新計算。
  • 譜系偏倚:在明顯病例與健康對照上驗證的模型,在臨床實踐中占主導地位的那些模糊中間地帶上,表現往往會被高估。
  • 未對下游路徑進行成本核算:每一次陽性結果都會觸發一次核查;一個模型實際上是對整條路徑經濟學的一次介入。

來源