Метрики экономики здравоохранения

Тема 79 из 91· Ускорение с помощью ИИ

Клиническая оценка ИИ

Основная статистика для оценки клинической ИИ или диагностической модели: чувствительность, специфичность, AUROC, прогностическая ценность и число, которое нужно обследовать. Центральный экономический урок: отличный AUROC не делает развёртывание экономически эффективным — ценность зависит от рабочей точки, распространённости и того, что происходит после каждого положительного результата.

Почему это важно

Регуляторы (FDA, MHRA) разрешают клинический ИИ в зафиксированной рабочей точке — конкретной паре чувствительность/специфичность (например, первая одобренная FDA автономная система для диабетической ретинопатии: чувствительность 87,2%, специфичность 90,7% в её опорном испытании). Экономисты здравоохранения затем задают вопрос, на который метрики точности не могут ответить: при распространённости в вашей популяции развёртывания, сколько стоит каждое обнаружение и стоит ли действовать на основе него? Экономическая оценка ИИ-скрининга ретинопатии (npj Digital Medicine 2024) показала, что более высокая точность сама по себе не гарантирует экономическую эффективность, если учесть затраты на направление.

Расчёт

Чувствительность = ИП / (ИП + ЛО)        — из истинно положительных, доля обнаружена
Специфичность = ИО / (ИО + ЛП)        — из истинно отрицательных, доля исключена
AUROC       = В(модель ранжирует случайный положительный выше случайного отрицательного)
              0,5 случайность … 1,0 идеально; не зависит от порога — и поэтому
              недостаточен для решения о развёртывании

ППЦ = ИП / (ИП + ЛП)   ← зависит от распространённости (Байес); рушится при редкости
ОПЦ = ИО / (ИО + ЛО)

ЧНО  ≈ 1 / (распространённость × чувствительность)       — обследовано на истинный найденный случай
Стоимость на истинный случай = стоимость программы / ИП      — экономический итог

Разобранный пример

Одна и та же модель, два контекста — чувствительность 90%, специфичность 93%:

Специализированная клиника (распространённость 20%):
  ППЦ = (0,9×0,2)/(0,9×0,2 + 0,07×0,8) = 0,18/0,236 ≈ 76%  → 3 из 4 оповещений реальны

Первичная помощь (распространённость 1%):
  ППЦ = (0,9×0,01)/(0,9×0,01 + 0,07×0,99) = 0,009/0,0783 ≈ 11,5%
  → 8 из 9 оповещений ложные; дообследование по £350 каждое:
  стоимость на истинный случай = (0,009 + 0,0693) × 350 / 0,009 ≈ £3045 на найденный случай

Идентичная модель, радикально разная экономика — поэтому оценка по конкретному учреждению является регуляторной темой, и поэтому «у нашей модели AUROC 0,95» — это начало экономического кейса, а не его конец. См. экономику скрининга для полной арифметики программы.

Связь с программной инженерией

Для инженеров, разрабатывающих или покупающих клинический ИИ: поставляйте матрицу ошибок при распространённости развёртывания, а не только ROC-кривую отдельно; пусть порог будет экономическим решением — компромисс чувствительность/специфичность должен минимизировать ожидаемую стоимость (пропущенные случаи × стоимость пропуска против ложных тревог × стоимость дообследования), а не максимизировать эталонную статистику; и распознавайте ту же математику в собственных инструментах — системы оповещений, детекторы аномалий и сканеры безопасности являются диагностическими тестами на потоках событий с низкой распространённостью, с усталостью от оповещений как ЧБНЛ. Обновления модели, сдвигающие рабочую точку, заново открывают экономику (и регуляторное разрешение — см. регуляторную оценку ИИ).

Подводные камни

  • Шопинг по AUROC: сравнение моделей по AUROC, когда они будут работать при одном пороге — сравнивайте по рабочей точке.
  • ППЦ распространённости испытания, цитируемая для реального развёртывания — классика; всегда пересчитывайте для местной распространённости.
  • Спектральное смещение: модели, валидированные на очевидных случаях против здоровых контролей, показывают завышенную эффективность на неоднозначной середине, которая доминирует в практике.
  • Отсутствие расчёта затрат последующего пути: каждый положительный запускает дообследование; модель — это вмешательство в экономику всего пути.

Источники