Очікувана цінність вибіркової інформації (EVSI)

EVSI — це цінність конкретного запропонованого дослідження — заданого дизайну, заданого розміру вибірки — до його проведення, на відміну від EVPI, що оцінює повне усунення всієї невизначеності. EVSI відповідає на питання, перед яким насправді стоїть фундатор досліджень: «чи варте це випробування такого розміру своїх витрат?»

Чому це важливо

EVPI показує стелю того, чого могли б вартувати будь-які дослідження; воно ніколи не каже, чи долає планку випробування, що лежить перед вами. Національний фундатор досліджень, який обирає між пілотом на 50 пацієнтів і вирішальним випробуванням на 500 пацієнтів, мусить знати, скільки вартий кожен конкретний дизайн, а не лише цінність всезнання. EVSI дає це число, а оскільки воно масштабується з розміром вибірки, фундатор може знайти розмір вибірки, що максимізує очікувану чисту вигоду, замість того щоб вгадувати.

Тому EVSI завжди менша або дорівнює EVPI: скінченна вибірка може розв'язати невизначеність лише частково, а дослідження, що здається вартішим за досконалу інформацію, — ознака помилки в обчисленні, а не реального результату.

Математика

Загалом:
EVSI(n) = E_дані[ max_d E_θ|дані[NB(d,θ)] ]  −  max_d E_θ[NB(d,θ)]
  (вкладене математичне сподівання: зовнішнє — за можливими результатами
  дослідження, внутрішнє — за апостеріорним переконанням про θ після
  побачення цього результату; зазвичай оцінюється вкладеним Монте-Карло /
  байєсівським оновленням за вибірками імовірнісного аналізу чутливості)

Нормальне наближення у замкненій формі (один невизначений параметр,
спряжена модель нормальна-нормальна — поширений скорочений шлях, не точний
для кожної моделі):
EVSI(n) = EVPI × n / (n + n0)

n  = розмір вибірки запропонованого дослідження
n0 = «апріорно еквівалентний розмір вибірки» — розмір уявної вибірки, що
     несла б ту саму інформацію, що й поточний апріор, виведений із
     відношення дисперсії даних до апріорної дисперсії
ENBS(n) = EVSI(n) − Витрати(n)
EVSI сукупності = EVSI_на_рішення × кількість_охоплених_рішень

Загальна форма є вкладеним математичним сподіванням, бо майбутній результат дослідження сам невизначений: треба усереднити за кожним можливим набором даних, який дослідження могло б дати, і для кожного перерахувати найкраще рішення з огляду на оновлене (апостеріорне) переконання. Нормальне наближення у замкненій формі міняє ці обчислювальні витрати на одне відношення, чинне, коли невизначений параметр і дані (приблизно) нормальні й спряжені, — зручність, а не універсальний закон. Повне вкладене Монте-Карло — універсальний метод, коли це припущення не виконується. Див. імовірнісний аналіз чутливості щодо вибірок PSA, із яких зазвичай оцінюють EVSI.

Розібраний приклад

Спираючись на розібраний приклад EVPI — впровадження асистента з документації на основі ШІ для 5 000 клініцистів, де EVPI виявилася £1,2 млн, — виразімо тут ту саму EVPI в цілих фунтах: EVPI = £1 200 000.

Запропоновано пілотне дослідження на 50 клініцистах. Із відношення дисперсії попереднього переконання до точності вимірювання пілота апріорно еквівалентний розмір вибірки становить n0 = 75:

EVSI(50) = 1 200 000 × 50 / (50 + 75)
         = 1 200 000 × 50 / 125
         = 1 200 000 × 0,4
         = £480 000

Пілот коштує £120 000:

ENBS = EVSI − Витрати = 480 000 − 120 000 = £360 000

Чітко додатна ENBS: фінансуйте пілот. Якщо те саме закупівельне рішення повторюється у 3 подібних регіональних трастах, цінність пілота масштабується:

EVSI сукупності = 480 000 × 3 = £1 440 000

Зв'язок з інженерією програмного забезпечення

EVSI — це економіка вибору того, наскільки великим має бути пілот чи A/B-тест, а не лише того, чи проводити його взагалі:

• Розмір вибірки як інвестиційне рішення. Бета на 50 користувачів і поетапне розгортання на 5 000 користувачів — різні «дослідження» з різними EVSI та витратами; EVSI дозволяє порівняти їх на одній основі, замість того щоб скочуватися до «більше даних — завжди краще».
• Тест на замовлення — це ENBS, а не EVSI саме по собі. Дослідження з високою EVSI, чиї витрати з'їдають більшість її, — слабка пропозиція; правило рішення — очікувана чиста вигода від вибірки, достоту як бізнес-кейс співвідносить вигоду з витратами, а не звітує лише вигоду.
• Спадна віддача — явна. Оскільки EVSI(n) зростає як n/(n+n0), подвоєння розміру пілота ніколи не подвоює його цінності — формальна версія інженерного інстинкту, що більший експеримент має спадну граничну інформаційну цінність.

Підводні камені

• Застосування нормального наближення поза його припущеннями. Воно діє лише для приблизно спряженої невизначеності одного параметра; справді нелінійна чи багатопараметрична модель рішення потребує повного вкладеного Монте-Карло, а не цього скороченого шляху.
• Порівняння EVSI лише з готівковими витратами. EVSI треба зважувати проти повних витрат дослідження, зокрема його власної вартості затримки рішення — див. вартість затримки, — а не лише рахунку за дослідження.
• Сприйняття EVSI > EVPI як реального висновку. EVSI за конструкцією ніколи не може перевищити EVPI; обчислення, що це дає, — помилка моделі, а не відкриття.

Джерела

• Ades AE, Lu G, Claxton K. «Expected value of sample information calculations in medical decision modeling.» Medical Decision Making 2004;24(2):207-27.
• Willan AR, Pinto EM. «The value of information and optimal clinical trial design.» Statistics in Medicine 2005;24(12):1791-806.
• Strong M, Oakley JE. «When is a model-based value of information analysis feasible?» Medical Decision Making 2014.