มูลค่าคาดหวังของข้อมูลตัวอย่าง (EVSI)

EVSI คือมูลค่าของ การศึกษาที่เสนอเฉพาะเจาะจง — ด้วยแบบการศึกษาและขนาดตัวอย่างที่กำหนด — ก่อนที่จะดำเนินการ ต่างจากEVPI ที่ประเมินการกำจัดความไม่แน่นอนทั้งหมดอย่างสมบูรณ์ EVSI ตอบคำถามที่ผู้ให้ทุนวิจัยเผชิญจริงๆ: "การศึกษา นี้ ที่ขนาด นี้ คุ้มกับต้นทุนหรือไม่"

ทำไมจึงสำคัญ

EVPI ให้เพดานของมูลค่าที่การศึกษาใดๆ จะมีได้ แต่ไม่เคยบอกว่าการศึกษาที่อยู่ตรงหน้าผ่านเกณฑ์หรือไม่ ผู้ให้ทุนวิจัยระดับชาติที่ต้องเลือกระหว่างการศึกษานำร่อง 50 ผู้ป่วยกับการทดลองชี้ขาด 500 ผู้ป่วย ต้องรู้มูลค่าของ แต่ละแบบ ไม่ใช่แค่มูลค่าของการรู้ทุกสิ่ง EVSI ให้ตัวเลขนั้น และเนื่องจากมันแปรตามขนาดตัวอย่าง ผู้ให้ทุนจึงหาขนาดที่ทำให้ผลประโยชน์สุทธิคาดหวังสูงสุดได้ แทนที่จะเดา

นี่ยังเป็นเหตุผลที่ EVSI น้อยกว่าหรือเท่ากับ EVPI เสมอ: ตัวอย่างจำกัดแก้ความไม่แน่นอนได้เพียงบางส่วน และการศึกษาที่ดูเหมือนมีค่ามากกว่าข้อมูลสมบูรณ์แบบเป็นสัญญาณว่าการคำนวณผิด ไม่ใช่ผลลัพธ์จริง

คณิตศาสตร์

กรณีทั่วไป:
EVSI(n) = E_ข้อมูล[ max_d E_θ|ข้อมูล[NB(d,θ)] ]  −  max_d E_θ[NB(d,θ)]
  (ค่าคาดหวังซ้อน: ชั้นนอกข้ามผลการศึกษาที่เป็นไปได้ ชั้นในข้ามความเชื่อภายหลัง
  เกี่ยวกับ θ หลังเห็นผลนั้น — มักประมาณด้วย Monte Carlo ซ้อน / การปรับปรุงแบบเบย์
  ข้ามตัวอย่างการวิเคราะห์ความอ่อนไหวเชิงความน่าจะเป็น)

การประมาณแบบปิดด้วยการแจกแจงปกติ (พารามิเตอร์ไม่แน่นอนตัวเดียว แบบจำลอง
normal-normal คอนจูเกต — ทางลัดที่พบบ่อย ไม่แม่นยำสำหรับทุกแบบจำลอง):
EVSI(n) = EVPI × n / (n + n0)

n  = ขนาดตัวอย่างของการศึกษาที่เสนอ
n0 = "ขนาดตัวอย่างเทียบเท่าของความเชื่อก่อนหน้า" — ขนาดตัวอย่างสมมุติที่ให้
     ข้อมูลเท่ากับความเชื่อปัจจุบัน หาจากอัตราส่วนความแปรปรวนของข้อมูลต่อ
     ความแปรปรวนของความเชื่อก่อนหน้า
ENBS(n) = EVSI(n) − ต้นทุน(n)
EVSI ระดับประชากร = EVSI_ต่อการตัดสินใจ × จำนวนการตัดสินใจที่ได้รับผลกระทบ

รูปทั่วไปเป็นค่าคาดหวังซ้อนเพราะผลการศึกษาในอนาคตเองก็ไม่แน่นอน: ต้องเฉลี่ยข้ามชุดข้อมูลที่เป็นไปได้ทุกชุด และสำหรับแต่ละชุดคำนวณการตัดสินใจที่ดีที่สุดใหม่ตามความเชื่อที่ปรับปรุงแล้ว (ภายหลัง) การประมาณปกติแลกต้นทุนการคำนวณนั้นกับอัตราส่วนเดียว ใช้ได้เมื่อพารามิเตอร์ไม่แน่นอนและข้อมูลเป็นปกติ (โดยประมาณ) และคอนจูเกต — เป็นความสะดวก ไม่ใช่กฎสากล Monte Carlo ซ้อนเต็มรูปแบบคือวิธีทั่วไปเมื่อข้อสมมตินี้ไม่เป็นจริง ดูการวิเคราะห์ความอ่อนไหวเชิงความน่าจะเป็น สำหรับตัวอย่าง PSA ที่มักใช้ประมาณ EVSI

ตัวอย่างที่คำนวณแล้ว

ต่อจากตัวอย่างEVPI — การนำผู้ช่วยบันทึกเอกสารด้วย AI ไปใช้กับ 5,000 คลินิก ซึ่ง EVPI เท่ากับ £1.2 ล้าน — ในที่นี้เขียน EVPI เดิมเต็มจำนวน: EVPI = £1,200,000

การศึกษานำร่องที่เสนอครอบคลุม 50 คลินิก จากอัตราส่วนความแปรปรวนของความเชื่อก่อนหน้าต่อความแม่นยำของการวัดในโครงการนำร่อง ได้ขนาดตัวอย่างเทียบเท่าของความเชื่อก่อนหน้า n0 = 75:

EVSI(50) = 1,200,000 × 50 / (50 + 75)
         = 1,200,000 × 50 / 125
         = 1,200,000 × 0.4
         = £480,000

โครงการนำร่องมีต้นทุน £120,000:

ENBS = EVSI − ต้นทุน = 480,000 − 120,000 = £360,000

ENBS เป็นบวกชัดเจน: ให้ทุนโครงการนำร่อง หากการตัดสินใจจัดซื้อแบบเดียวกันเกิดซ้ำใน 3 trust ระดับภูมิภาคที่คล้ายกัน มูลค่าของโครงการนำร่องจะขยายตาม:

EVSI ระดับประชากร = 480,000 × 3 = £1,440,000

ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์

EVSI คือเศรษฐศาสตร์ของคำถามว่าโครงการนำร่องหรือ A/B test ควรมี ขนาดเท่าใด ไม่ใช่แค่ว่าจะทำหรือไม่:

• ขนาดตัวอย่างเป็นการตัดสินใจลงทุน เบต้า 50 ผู้ใช้กับการเปิดตัวเป็นระยะถึง 5,000 ผู้ใช้เป็น "การศึกษา" ที่ต่างกัน มี EVSI และต้นทุนต่างกัน — EVSI ช่วยให้เปรียบเทียบบนฐานเดียวกัน แทนที่จะถอยไปใช้ค่าเริ่มต้นว่า "ข้อมูลมากกว่าดีกว่าเสมอ"
• การทดสอบสมัครสมาชิกคือ ENBS ไม่ใช่ EVSI อย่างเดียว การศึกษาที่ EVSI สูงแต่ต้นทุนกินไปเกือบหมดเป็นข้อเสนอที่อ่อน กฎการตัดสินใจคือผลประโยชน์สุทธิคาดหวังของตัวอย่าง เช่นเดียวกับที่กรณีธุรกิจชั่งผลประโยชน์กับต้นทุน ไม่ใช่รายงานผลประโยชน์ฝ่ายเดียว
• ผลตอบแทนส่วนเพิ่มที่ลดลงมองเห็นได้ชัด เพราะ EVSI(n) โตตาม n/(n+n0) การเพิ่มขนาดโครงการนำร่องเป็นสองเท่าไม่เคยเพิ่มมูลค่าเป็นสองเท่า — รูปแบบทางการของสัญชาตญาณวิศวกรที่ว่าการทดลองที่ใหญ่ขึ้นมีมูลค่าข้อมูลส่วนเพิ่มลดลง

ข้อผิดพลาดที่พบบ่อย

• ใช้การประมาณปกติเกินข้อสมมติ ใช้ได้เฉพาะเมื่อความไม่แน่นอนของพารามิเตอร์เดียวเป็นคอนจูเกตโดยประมาณ แบบจำลองการตัดสินใจที่ไม่เป็นเชิงเส้นจริงหรือมีหลายพารามิเตอร์ต้องใช้ Monte Carlo ซ้อนเต็มรูปแบบ ไม่ใช่ทางลัดนี้
• เทียบ EVSI กับต้นทุนเงินสดเท่านั้น ต้องชั่ง EVSI กับต้นทุน ทั้งหมด ของการศึกษา รวมถึงต้นทุนของการเลื่อนการตัดสินใจเอง — ดูต้นทุนของความล่าช้า — ไม่ใช่แค่ใบแจ้งหนี้ของการศึกษา
• ถือว่า EVSI > EVPI เป็นข้อค้นพบจริง โดยโครงสร้าง EVSI ไม่มีวันเกิน EVPI การคำนวณที่ได้ผลเช่นนั้นคือข้อผิดพลาดของแบบจำลอง ไม่ใช่การค้นพบ

แหล่งที่มา

• Ades AE, Lu G, Claxton K. "Expected value of sample information calculations in medical decision modeling." Medical Decision Making 2004;24(2):207-27.
• Willan AR, Pinto EM. "The value of information and optimal clinical trial design." Statistics in Medicine 2005;24(12):1791-806.
• Strong M, Oakley JE. "When is a model-based value of information analysis feasible?" Medical Decision Making 2014.