第 10 個主題,共 91 個· 經濟推理基礎
樣本資訊期望價值 (Expected Value of Sample Information, EVSI)
EVSI 是某一項具體擬議研究(給定設計和樣本量)在開展之前的價值,不同於評估徹底消除全部不確定性的 EVPI。EVSI 回答的是研究資助方真正面對的問題:“這項研究,在這個規模下,值得它的成本嗎?”
為什麼重要
EVPI 給出任何研究可能價值的上限;它從不告訴你眼前的這項研究是否越過了門檻。一個國家級研究資助方要在 50 名病患的試點和 500 名病患的決定性試驗之間做選擇,需要知道每一種設計的價值,而不僅僅是“什麼都知道”的價值。EVSI 給出這個數位,而且因為它隨樣本量變化,資助方可以找到使期望淨收益最大的樣本量,而不是靠猜。
這也是 EVSI 總是小於或等於 EVPI 的原因:有限樣本只能部分解決不確定性,一項看起來比完全資訊還值錢的研究是計算有誤的訊號,而不是真實結果。
計算方法
一般情形:
EVSI(n) = E_資料[ max_d E_θ|資料[NB(d,θ)] ] − max_d E_θ[NB(d,θ)]
(巢狀期望:外層對可能的研究結果取期望,內層對看到該結果後關於 θ 的
後驗信念取期望——通常用巢狀蒙特卡洛 / 對機率敏感性分析抽樣做貝葉斯更新來估計)
閉式正態近似(一個不確定引數,共軛的正態-正態模型——常見捷徑,
並非對每個模型都精確):
EVSI(n) = EVPI × n / (n + n0)
n = 擬議研究的樣本量
n0 = “先驗等效樣本量”——與當前信念攜帶同樣多資訊的假想樣本量,
由資料方差與先驗方差之比推得
ENBS(n) = EVSI(n) − 成本(n)
人群層面 EVSI = 每項決策的 EVSI × 受影響的決策數
一般形式是巢狀期望,因為研究的未來結果本身就不確定:需要對每一種可能的資料集取平均,並針對每一種,按更新後的(後驗)信念重新計算最優決策。正態近似用一個單一比值替代了這一計算成本,在不確定引數與資料(近似)為正態且共軛時成立——是一種便利,而非普遍規律。當這一假設不成立時,完整的巢狀蒙特卡洛是通用方法。關於通常用來估計 EVSI 的 PSA 抽樣,見機率敏感性分析。
算例
延續 EVPI 的算例——在 5,000 家診所部署 AI 文書助手,其中 EVPI 為 £120 萬——這裡把同一個 EVPI 完整寫出:EVPI = £1,200,000。
一個擬議的試點覆蓋 50 家診所。由先驗信念方差與試點測量精度之比,先驗等效樣本量為 n0 = 75:
EVSI(50) = 1,200,000 × 50 / (50 + 75)
= 1,200,000 × 50 / 125
= 1,200,000 × 0.4
= £480,000
試點成本為 £120,000:
ENBS = EVSI − 成本 = 480,000 − 120,000 = £360,000
ENBS 明顯為正:資助這個試點。若同樣的採購決策在 3 個類似的區域信託機構重複出現,試點的價值相應放大:
人群層面 EVSI = 480,000 × 3 = £1,440,000
與軟體工程的關聯
EVSI 是關於試點專案或 A/B 測試應當做多大的經濟學,而不僅僅是要不要做:
- 樣本量是一項投資決策。 50 名使用者的 beta 與擴充套件到 5,000 名使用者的分階段推廣是不同的“研究”,EVSI 和成本都不同——EVSI 讓你在同一基礎上比較它們,而不是退回到“資料越多總是越好”的預設想法。
- 訂閱測試看的是 ENBS,不只是 EVSI。 EVSI 很高但成本吃掉大半的研究是個薄弱的提案;決策規則是樣本的期望淨收益,就像商業案例把收益與成本並列,而不是隻報告收益。
- 邊際收益遞減一目瞭然。 因為 EVSI(n) 按
n/(n+n0)增長,試點規模翻倍絕不會讓其價值翻倍——這是工程師“更大的實驗邊際資訊價值遞減”直覺的形式化版本。
陷阱
- 在假設之外使用正態近似。 它只對共軛的單引數不確定性近似成立;真正非線性或多引數的決策模型需要完整的巢狀蒙特卡洛,而不是這個捷徑。
- 只把 EVSI 與現金成本比較。 EVSI 應與研究的全部成本相權衡,包括推遲該決策本身的成本——見延遲成本——而不僅僅是研究的賬單。
- 把 EVSI > EVPI 當作真實發現。 按構造,EVSI 永遠不可能超過 EVPI;算出這種結果是模型錯誤,不是發現。
參考來源
- Ades AE, Lu G, Claxton K. "Expected value of sample information calculations in medical decision modeling." Medical Decision Making 2004;24(2):207-27.
- Willan AR, Pinto EM. "The value of information and optimal clinical trial design." Statistics in Medicine 2005;24(12):1791-806.
- Strong M, Oakley JE. "When is a model-based value of information analysis feasible?" Medical Decision Making 2014.