Ожидаемая ценность выборочной информации (Expected Value of Sample Information, EVSI)

EVSI — это ценность одного конкретного предлагаемого исследования (с заданным дизайном и размером выборки) до его проведения, в отличие от EVPI, который оценивает полное устранение всей неопределённости. EVSI отвечает на вопрос, перед которым на деле стоит финансирующая исследования организация: «стоит ли это исследование такого размера своих затрат?»

Почему это важно

EVPI даёт верхний предел ценности, которой мог бы обладать любой эксперимент; он никогда не говорит, преодолевает ли стоящее перед вами исследование планку. Национальному грантодателю, выбирающему между пилотом на 50 пациентах и решающим испытанием на 500, нужно знать ценность каждого дизайна, а не просто ценность знания всего. EVSI даёт это число, и поскольку оно меняется с размером выборки, грантодатель может найти размер, максимизирующий ожидаемую чистую выгоду, а не гадать.

Поэтому EVSI всегда меньше или равен EVPI: конечная выборка лишь частично разрешает неопределённость, и исследование, которое кажется ценнее совершенной информации, — признак ошибки в расчёте, а не реальный результат.

Математика

Общий случай:
EVSI(n) = E_данные[ max_d E_θ|данные[NB(d,θ)] ]  −  max_d E_θ[NB(d,θ)]
  (вложенное математическое ожидание: внешнее — по возможным результатам
  исследования, внутреннее — по апостериорному убеждению о θ после этого
  результата; обычно оценивается вложенным методом Монте-Карло /
  байесовским обновлением по выборкам вероятностного анализа чувствительности)

Аппроксимация нормальным распределением в замкнутой форме (один неопределённый
параметр, сопряжённая модель «нормальное-нормальное» — распространённый
приём, не точный для любой модели):
EVSI(n) = EVPI × n / (n + n0)

n  = размер выборки предлагаемого исследования
n0 = «эквивалентный размер выборки априорного убеждения» — гипотетический
     размер выборки, несущий столько же информации, сколько текущее убеждение,
     выводится из отношения дисперсии данных к дисперсии априорного распределения
ENBS(n) = EVSI(n) − Затраты(n)
Популяционный EVSI = EVSI_на_решение × число_затронутых_решений

Общая форма — вложенное математическое ожидание, потому что будущий результат исследования сам неопределён: нужно усреднять по каждому возможному набору данных и для каждого пересчитывать лучшее решение при обновлённом (апостериорном) убеждении. Нормальная аппроксимация меняет эти вычислительные затраты на одно отношение, оправданное, когда неопределённый параметр и данные (приблизительно) нормальны и сопряжены, — удобство, а не универсальный закон. Полный вложенный метод Монте-Карло — универсальный метод, когда это допущение не выполняется. См. Вероятностный анализ чувствительности о выборках PSA, по которым обычно оценивают EVSI.

Практический пример

Продолжая практический пример EVPI — внедрение ИИ-помощника по документированию в 5 000 клиниках, где EVPI оказался равным £1,2 млн, — запишем тот же EVPI полностью: EVPI = £1 200 000.

Предлагаемый пилот охватывает 50 клиник. Из отношения дисперсии априорного убеждения к точности измерения пилота эквивалентный размер выборки априорного убеждения равен n0 = 75:

EVSI(50) = 1,200,000 × 50 / (50 + 75)
         = 1,200,000 × 50 / 125
         = 1,200,000 × 0.4
         = £480,000

Пилот стоит £120 000:

ENBS = EVSI − Затраты = 480,000 − 120,000 = £360,000

Явно положительный ENBS: финансировать пилот. Если то же решение о закупке повторяется в 3 похожих региональных трастах, ценность пилота масштабируется соответственно:

Популяционный EVSI = 480,000 × 3 = £1,440,000

Связь с разработкой программного обеспечения

EVSI — это экономика того, насколько большим должен быть пилотный проект или A/B-тест, а не только того, проводить ли его:

• Размер выборки — инвестиционное решение. Бета на 50 пользователей и поэтапный запуск до 5 000 пользователей — разные «исследования» с разными EVSI и затратами; EVSI позволяет сравнить их на одной основе, а не откатываться к умолчанию «больше данных — всегда лучше».
• Тест подписки — это ENBS, а не один EVSI. Исследование с высоким EVSI, затраты которого съедают его бо́льшую часть, — слабое предложение; правило решения — ожидаемая чистая выгода выборки, так же как бизнес-кейс ставит выгоду против затрат, а не сообщает только выгоду.
• Убывающая предельная отдача хорошо видна. Поскольку EVSI(n) растёт как n/(n+n0), удвоение размера пилота никогда не удваивает его ценность — формальная версия интуиции инженера, что больший эксперимент имеет убывающую предельную информационную ценность.

Подводные камни

• Использование нормальной аппроксимации вне её допущений. Она лишь приблизительно верна для сопряжённой неопределённости одного параметра; по-настоящему нелинейная или многопараметрическая модель решений требует полного вложенного метода Монте-Карло, а не этого приёма.
• Сравнение EVSI только с денежными затратами. EVSI нужно сопоставлять с полными затратами исследования, включая цену отсрочки самого решения (см. Стоимость задержки), а не только со счётом за исследование.
• Принятие EVSI > EVPI за реальное открытие. По построению EVSI никогда не может превысить EVPI; расчёт, давший такой результат, — ошибка модели, а не открытие.

Источники

• Ades AE, Lu G, Claxton K. "Expected value of sample information calculations in medical decision modeling." Medical Decision Making 2004;24(2):207-27.
• Willan AR, Pinto EM. "The value of information and optimal clinical trial design." Statistics in Medicine 2005;24(12):1791-806.
• Strong M, Oakley JE. "When is a model-based value of information analysis feasible?" Medical Decision Making 2014.