第 79 个主题,共 91 个· 人工智能加速

临床 AI 评估 (Clinical AI Evaluation)

评估临床 AI 或诊断模型的核心统计量:灵敏度 (sensitivity)、特异度 (specificity)、AUROC、预测值以及需筛查人数。核心的经济学教训是:优秀的 AUROC 并不代表具有成本效益的部署——价值取决于所选的操作点 (operating point)、患病率 (prevalence),以及每一次阳性结果之后所发生的一切。

为什么重要

监管机构(FDA、MHRA)会在锁定的操作点上批准临床 AI——即一组特定的灵敏度/特异度组合(例如首个获 FDA 批准的自主式糖尿病视网膜病变检测系统:其关键试验中灵敏度为 87.2%,特异度为 90.7%)。而卫生经济学家接着会提出准确性指标无法回答的问题:在你的部署人群的患病率下,每一次检出的成本是多少,采取相应行动是否值得?一项针对视网膜病变筛查 AI 的经济学评估(npj Digital Medicine,2024 年)表明,一旦计入转诊成本,单凭更高的准确率并不能保证具有成本效益。

计算方法

灵敏度 Sensitivity = TP / (TP + FN)        — 真阳性中被正确检出的比例
特异度 Specificity = TN / (TN + FP)        — 真阴性中被正确排除的比例
AUROC       = P(模型对随机一个阳性样本的排序高于随机一个阴性样本)
              0.5 为随机水平……1.0 为完美;与阈值无关——因此
              不足以支撑部署决策

PPV(阳性预测值)= TP / (TP + FP)   ← 依赖患病率(贝叶斯定理);在罕见病中会急剧下降
NPV(阴性预测值)= TN / (TN + FN)

NNS(需筛查人数)≈ 1 / (患病率 × 灵敏度)       — 每发现一个真阳性所需筛查的人数
每个真阳性病例的成本 = 项目总成本 / TP      — 经济学层面的底线指标

算例

同一模型,两种场景——灵敏度 90%,特异度 93%:

专科门诊(患病率 20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → 每 4 次警报中有 3 次为真

基层医疗(患病率 1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → 每 9 次警报中有 8 次为假阳性;每次复查费用 £350:
  每个真阳性病例的成本 = (0.009 + 0.0693) × 350 / 0.009 ≈ 每检出一例花费 £3,045

同一个模型,经济效果却截然不同——这正是为何"按部署场地评估"是监管审查的重点主题,也是为何"我们的模型 AUROC 达到 0.95"只是经济论证的开端,而非结论。完整的项目层面计算参见筛查经济学。

与软件工程的关联

对于构建或采购临床 AI 的工程师而言:应在部署人群的实际患病率下交付混淆矩阵,而不只是一条 ROC 曲线;让阈值成为一项经济决策——灵敏度/特异度的权衡应以最小化预期成本为目标(漏诊数 × 漏诊代价 vs 误报数 × 复查成本),而不是以最大化某个基准统计量为目标;并认识到同样的数学关系也适用于你自己的工具体系——告警系统、异常检测器和安全扫描器本质上都是针对低患病率事件流的诊断检验,告警疲劳即是这里的需要额外伤害人数 NNH。任何移动了操作点的模型更新,都会重新打开这套经济学计算(也会重新打开监管审批问题——参见 AI 监管评估)。

陷阱

  • AUROC 货比三家:在只会以单一阈值运行的前提下比较不同模型的 AUROC——正确做法是在操作点上比较。
  • 把试验阶段患病率下的 PPV 直接套用于真实部署场景——这是最典型的错误;务必按本地患病率重新计算。
  • 谱系偏倚 (spectrum bias):在典型病例与健康对照上验证的模型,在实践中占主导地位的模糊中间地带上表现会被高估。
  • 未计入下游路径成本:每一次阳性都会触发一次复查流程;模型实际上是对整条路径经济学的一次干预。

参考来源