Метрики экономики здравоохранения

Тема 79 из 91· Ускорение с помощью ИИ

Клиническая оценка ИИ (Clinical AI Evaluation)

Основные статистические показатели для оценки клинического ИИ или диагностической модели: чувствительность, специфичность, AUROC, прогностические ценности и число, которое необходимо обследовать (number needed to screen). Центральный экономический урок: отличный AUROC не делает развёртывание затратно-эффективным — ценность зависит от рабочей точки, распространённости и от того, что происходит после каждого положительного результата.

Почему это важно

Регуляторы (FDA, MHRA) допускают клинический ИИ на зафиксированной рабочей точке — конкретной паре чувствительность/специфичность (например, первая автономная система FDA для диабетической ретинопатии: чувствительность 87,2%, специфичность 90,7% в её ключевом испытании). Затем экономисты здравоохранения задают вопрос, на который метрики точности ответить не могут: при распространённости в вашей популяции развёртывания сколько стоит каждое обнаружение и стоит ли действовать на его основе? Экономическая оценка ИИ-скрининга ретинопатии (npj Digital Medicine, 2024) показала, что одна лишь более высокая точность не гарантирует затратной эффективности, если учесть затраты на направление к специалисту.

Математика

Чувствительность = ИП / (ИП + ЛО)        — доля выявленных среди истинно положительных
Специфичность = ИО / (ИО + ЛП)        — доля исключённых среди истинно отрицательных
AUROC       = P(модель ранжирует случайный положительный случай выше случайного отрицательного)
              0.5 — случайность … 1.0 — идеал; не зависит от порога — и поэтому
              недостаточна для решения о развёртывании

PPV = ИП / (ИП + ЛП)   ← зависит от распространённости (Байес); резко падает при редкости
NPV = ИО / (ИО + ЛО)

Число нуждающихся в обследовании ≈ 1 / (распространённость × чувствительность)       — обследовано на один найденный истинный случай
Стоимость на истинный случай = стоимость программы / ИП      — итоговый экономический показатель

Практический пример

Одна и та же модель, две настройки — чувствительность 90%, специфичность 93%:

Специализированная клиника (распространённость 20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → 3 из 4 оповещений реальны

Первичная помощь (распространённость 1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → 8 из 9 оповещений ложные; обследование по £350 каждое:
  стоимость на истинный случай = (0.009 + 0.0693) × 350 / 0.009 ≈ £3,045 на найденный случай

Идентичная модель, радикально разная экономика — вот почему специфичная для площадки оценка является регуляторной темой и почему «наша модель имеет AUROC 0,95» — это начало экономического обоснования, а не его конец. Полную математику программы см. в экономике скрининга.

Связь с разработкой программного обеспечения

Для инженеров, создающих или покупающих клинический ИИ: поставляйте матрицу ошибок при распространённости развёртывания, а не только ROC-кривую; позвольте порогу быть экономическим решением — компромисс чувствительность/специфичность должен минимизировать ожидаемые издержки (пропущенные случаи × стоимость пропуска против ложных тревог × стоимость обследования), а не максимизировать бенчмарк-статистику; и распознавайте ту же математику в собственном инструментарии — системы оповещений, детекторы аномалий и сканеры безопасности — это диагностические тесты над потоками событий низкой распространённости, с усталостью от оповещений в роли NNH. Обновления модели, сдвигающие рабочую точку, заново открывают и экономику, и регуляторный допуск (см. регуляторная оценка ИИ).

Подводные камни

  • Шопинг по AUROC: сравнение моделей по AUROC, когда они будут работать на одном пороге — сравнивайте в рабочей точке.
  • PPV, рассчитанный на распространённости в испытании, цитируемый для реального развёртывания — классическая ошибка; всегда пересчитывайте на локальной распространённости.
  • Спектральное смещение (spectrum bias): модели, валидированные на очевидных случаях против здоровых контролей, показывают завышенные результаты на неоднозначной середине, которая доминирует в реальной практике.
  • Отсутствие оценки последующего пути: каждый положительный результат запускает обследование; модель — это вмешательство в экономику всего пути.

Источники