第 10 个主题,共 91 个· 经济推理基础

样本信息期望价值 (Expected Value of Sample Information, EVSI)

EVSI 是某一项具体拟议研究(给定设计和样本量)在开展之前的价值,不同于评估彻底消除全部不确定性的 EVPI。EVSI 回答的是研究资助方真正面对的问题:“这项研究,在这个规模下,值得它的成本吗?”

为什么重要

EVPI 给出任何研究可能价值的上限;它从不告诉你眼前的这项研究是否越过了门槛。一个国家级研究资助方要在 50 名患者的试点和 500 名患者的决定性试验之间做选择,需要知道每一种设计的价值,而不仅仅是“什么都知道”的价值。EVSI 给出这个数字,而且因为它随样本量变化,资助方可以找到使期望净收益最大的样本量,而不是靠猜。

这也是 EVSI 总是小于或等于 EVPI 的原因:有限样本只能部分解决不确定性,一项看起来比完全信息还值钱的研究是计算有误的信号,而不是真实结果。

计算方法

一般情形:
EVSI(n) = E_数据[ max_d E_θ|数据[NB(d,θ)] ]  −  max_d E_θ[NB(d,θ)]
  (嵌套期望:外层对可能的研究结果取期望,内层对看到该结果后关于 θ 的
  后验信念取期望——通常用嵌套蒙特卡洛 / 对概率敏感性分析抽样做贝叶斯更新来估计)

闭式正态近似(一个不确定参数,共轭的正态-正态模型——常见捷径,
并非对每个模型都精确):
EVSI(n) = EVPI × n / (n + n0)

n  = 拟议研究的样本量
n0 = “先验等效样本量”——与当前信念携带同样多信息的假想样本量,
     由数据方差与先验方差之比推得
ENBS(n) = EVSI(n) − 成本(n)
人群层面 EVSI = 每项决策的 EVSI × 受影响的决策数

一般形式是嵌套期望,因为研究的未来结果本身就不确定:需要对每一种可能的数据集取平均,并针对每一种,按更新后的(后验)信念重新计算最优决策。正态近似用一个单一比值替代了这一计算成本,在不确定参数与数据(近似)为正态且共轭时成立——是一种便利,而非普遍规律。当这一假设不成立时,完整的嵌套蒙特卡洛是通用方法。关于通常用来估计 EVSI 的 PSA 抽样,见概率敏感性分析。

算例

延续 EVPI 的算例——在 5,000 家诊所部署 AI 文书助手,其中 EVPI 为 £120 万——这里把同一个 EVPI 完整写出:EVPI = £1,200,000。

一个拟议的试点覆盖 50 家诊所。由先验信念方差与试点测量精度之比,先验等效样本量为 n0 = 75:

EVSI(50) = 1,200,000 × 50 / (50 + 75)
         = 1,200,000 × 50 / 125
         = 1,200,000 × 0.4
         = £480,000

试点成本为 £120,000:

ENBS = EVSI − 成本 = 480,000 − 120,000 = £360,000

ENBS 明显为正:资助这个试点。若同样的采购决策在 3 个类似的区域信托机构重复出现,试点的价值相应放大:

人群层面 EVSI = 480,000 × 3 = £1,440,000

与软件工程的关联

EVSI 是关于试点项目或 A/B 测试应当做多大的经济学,而不仅仅是要不要做:

  • 样本量是一项投资决策。 50 名用户的 beta 与扩展到 5,000 名用户的分阶段推广是不同的“研究”,EVSI 和成本都不同——EVSI 让你在同一基础上比较它们,而不是退回到“数据越多总是越好”的默认想法。
  • 订阅测试看的是 ENBS,不只是 EVSI。 EVSI 很高但成本吃掉大半的研究是个薄弱的提案;决策规则是样本的期望净收益,就像商业论证把收益与成本并列,而不是只报告收益。
  • 边际收益递减一目了然。 因为 EVSI(n) 按 n/(n+n0) 增长,试点规模翻倍绝不会让其价值翻倍——这是工程师“更大的实验边际信息价值递减”直觉的形式化版本。

陷阱

  • 在假设之外使用正态近似。 它只对共轭的单参数不确定性近似成立;真正非线性或多参数的决策模型需要完整的嵌套蒙特卡洛,而不是这个捷径。
  • 只把 EVSI 与现金成本比较。 EVSI 应与研究的全部成本相权衡,包括推迟该决策本身的成本——见延迟成本——而不仅仅是研究的账单。
  • 把 EVSI > EVPI 当作真实发现。 按构造,EVSI 永远不可能超过 EVPI;算出这种结果是模型错误,不是发现。

参考来源

  • Ades AE, Lu G, Claxton K. "Expected value of sample information calculations in medical decision modeling." Medical Decision Making 2004;24(2):207-27.
  • Willan AR, Pinto EM. "The value of information and optimal clinical trial design." Statistics in Medicine 2005;24(12):1791-806.
  • Strong M, Oakley JE. "When is a model-based value of information analysis feasible?" Medical Decision Making 2014.