第 79 个主题,共 91 个· 人工智能加速

临床AI评估

评估临床AI或诊断模型的核心统计量:灵敏度、特异度、AUROC(受试者工作特征曲线下面积)、预测值,以及需筛查人数。其核心经济学教训是:出色的AUROC并不等于具有成本效果的实际部署——价值取决于所选的运行点、患病率,以及每一次阳性结果之后下游会发生什么。

为何重要

监管机构(FDA、英国MHRA)对临床AI的授权是基于一个被锁定的运行点——即某个特定的灵敏度/特异度组合(例如,首款获FDA批准的自主式糖尿病视网膜病变检测系统,在其关键试验中灵敏度为87.2%,特异度为90.7%)。健康经济学家随后会提出一个纯粹的准确率指标无法回答的问题:在你实际部署人群的患病率下,每一次检出的成本是多少?据此采取行动是否值得?一项针对视网膜病变筛查AI的经济评估(npj Digital Medicine,2024年)表明,一旦计入转诊成本,仅凭更高的准确率并不能保证具有成本效果。

计算方法

灵敏度 = TP / (TP + FN)        —— 真阳性中,被正确检出的比例
特异度 = TN / (TN + FP)        —— 真阴性中,被正确排除的比例
AUROC  = P(模型将随机一个阳性样本排在随机一个阴性样本之前)
         0.5为纯随机……1.0为完美;与阈值无关——因此
         不足以据此作出部署决策

PPV(阳性预测值) = TP / (TP + FP)   ← 依赖患病率(贝叶斯定理);患病率低时会急剧下降
NPV(阴性预测值) = TN / (TN + FN)

需筛查人数(NNS) ≈ 1 / (患病率 × 灵敏度)       —— 每发现一例真阳性所需筛查的人数
每例真阳性成本 = 项目总成本 / TP      —— 这才是真正的经济学底线

实例演算

同一个模型,两种不同场景——灵敏度90%,特异度93%:

专科门诊(患病率20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → 每4次警报中有3次是真实的

基层医疗(患病率1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → 每9次警报中有8次是假阳性;每次核查费用£350:
  每例真阳性成本 = (0.009 + 0.0693) × 350 / 0.009 ≈ 每例发现约£3,045

完全相同的模型,经济学结论却截然不同——这正是为何"按具体场地进行评估"是一项监管主题,也是为何"我们的模型AUROC为0.95"只是一份经济学论证的开端,而绝非终点。完整的项目层面计算方法,参见筛查经济学。

与软件工程的联系

对于构建或采购临床AI的工程师而言:应在实际部署患病率下提供混淆矩阵,而不能只提供ROC曲线;应让阈值成为一项经济学决策——灵敏度/特异度的权衡取舍应当以最小化预期成本为目标(漏诊病例数 × 漏诊成本 对比 假警报数 × 核查成本),而非以最大化某个基准统计量为目标;并应认识到,你自己的工具中同样存在这套数学逻辑——警报系统、异常检测器和安全扫描工具,本质上都是在低患病率的事件流上进行的诊断检验,警报疲劳正对应着需伤害人数(NNH)。凡是会改变运行点的模型更新,都会重新打开整个经济学问题(也会重新打开监管获批问题——参见AI监管评估)。

陷阱

  • AUROC购物式比较:在模型实际运行于单一阈值的情况下,仅按AUROC比较模型——应在实际运行点上进行比较。
  • 将试验患病率下的PPV,直接用于真实世界部署场景——这是最经典的错误;应始终按当地实际患病率重新计算。
  • 谱系偏倚:在明显病例与健康对照上验证的模型,在临床实践中占主导地位的那些模糊中间地带上,表现往往会被高估。
  • 未对下游路径进行成本核算:每一次阳性结果都会触发一次核查;一个模型实际上是对整条路径经济学的一次干预。

来源