第 78 个主题,共 91 个· 人工智能加速

AI质量指标

衡量AI生成输出正确性的指标:与真实标准相比对的准确率、忠实度/有据性(每一条陈述是否都有所提供上下文的支撑?),以及幻觉率(输出中包含无依据或虚假内容的比例)。在医疗场景中,这些并非锦上添花的质量细节——而是伤害发生率。

为何重要

医学领域的基准测试显示,未经知识支撑(ungrounded)的大语言模型在医学任务上的幻觉率超过60%(部分开源模型超过80%),而引入知识支撑、检索增强与推理模式可大幅降低该比例(例如,GPT-5的思考模式在某基准测试中将HealthBench幻觉率从3.6%降至1.6%)。在临床工作流程中,一次虚构的剂量或捏造的引用,都是带有伤害路径的虚假信息事件——它应当被纳入任何经济模型的"伤害"一侧,其定价方式应与筛查经济学中的假阳性相同:每一次都会触发下游成本(依据错误信息行动、核查人力投入、医疗法律风险敞口、信任受损)。

计算方法

幻觉率 = 包含无依据/虚假内容的输出数 / 输出总数
  内在型:与所提供的上下文相矛盾
  外在型:超出上下文范围、无法核实的捏造内容

忠实度(RAGAS式)= 答案中有依据支撑的陈述数 / 答案中陈述总数
上下文精确率/召回率 = 供给生成模型的检索质量

经济加权——并非所有幻觉代价相同:
  预期伤害成本 = Σ 按错误类型求和 (发生率 × P(未被发现) ×
                 P(被据此行动) × 每次被据此行动之错误的成本)
  P(未被发现)由人工复核环节决定——而该环节本身的成本
  也应纳入模型中(复核人力分钟数 × 处理量)。

实例演算

某AI临床编码助手每年处理200,000个诊疗事件;审计显示2%的输出存在实质性编码错误;人工编码员能发现其中85%:

提交时仍未被发现的错误 = 200,000 × 0.02 × 0.15 = 每年600例
每例未被发现错误的成本(平均误计费+审计风险敞口)≈ £250
预期错误成本               = 600 × 250 = 每年£150,000
复核成本(每例2分钟 × 200,000 × £0.50/分钟) = 每年£200,000

改进方案:引入检索式知识支撑,将错误率降至0.8%
→ 未被发现错误降至240例,错误成本降至£60,000(每年减少£90,000);
  复核时间也可随之下降(改为抽样复核而非全量复核)——
  这项质量投资在任何速度提升主张兑现之前,本身就已经值回成本。

与软件工程的联系

应以医疗级别的严谨态度,把模型质量当作测试覆盖率经济学来看待:评测集就是你的临床试验——应预先登记、能代表你自己的病例组合、并随数据漂移持续更新;在事实性任务上,知识支撑胜过单纯扩大模型规模(检索增强+要求引用的提示词,通常是最便宜的幻觉削减手段——其令牌开销参见推理单位经济学);并且公开你的运行点:正如灵敏度/特异度一样,脱离任务分布和判定阈值谈"97%忠实度"毫无意义。上面复核环节的计算方式,与任何筛查关口所用的NNT/NNH算术是同一套逻辑。

陷阱

  • 将基准测试结果直接移植到生产环境:幻觉率高度依赖具体任务;唯一算数的基准就是你自己的病例组合。
  • 未计入成本的人工复核:"由临床医生检查一切"会使收益减半,且必须体现在成本项中——而警觉性会随时间衰退(自动化依赖),因此随着信任增加,P(未被发现)也会上升。
  • 在尾部风险才是伤害来源的情况下优化平均质量:一条虚构的过敏史记录,其危害超过一千处笨拙措辞;应按照预期伤害公式,依据后果对错误加权。

来源