Метрики экономики здравоохранения

Тема 78 из 91· Ускорение с помощью ИИ

Метрики качества ИИ (AI Quality Metrics)

Метрики корректности результатов, генерируемых ИИ: точность относительно эталона (ground truth), достоверность/обоснованность (faithfulness/groundedness) (подтверждено ли каждое утверждение предоставленным контекстом?) и частота галлюцинаций (какая доля выводов содержит неподтверждённое или ложное содержание?). В условиях здравоохранения это не тонкости качества — это показатели вреда.

Почему это важно

Бенчмарки в медицинской области зафиксировали частоту галлюцинаций выше 60% для необоснованных (ungrounded) LLM на медицинских задачах (у некоторых открытых моделей >80%), тогда как обоснование (grounding), поиск (retrieval) и режимы рассуждения резко снижают эти показатели (например, режим «размышления» GPT-5 снизил частоту галлюцинаций HealthBench с 3,6% до 1,6% на одном бенчмарке). Галлюцинированная дозировка или сфабрикованная цитата в клиническом рабочем процессе — это событие ложной информации с путём причинения вреда — оно принадлежит плечу вреда любой экономической модели, оцениваясь подобно ложноположительным результатам экономики скрининга: каждый такой случай запускает последующие затраты (действие на основе неверной информации, труд по верификации, медико-юридические риски, подрыв доверия).

Математика

Частота галлюцинаций = выводы, содержащие неподтверждённое/ложное содержание / все выводы
  внутренние (intrinsic): противоречат предоставленному контексту
  внешние (extrinsic): непроверяемая фабрикация за пределами контекста

Достоверность (в стиле RAGAS) = подтверждённые утверждения в ответе / все утверждения в ответе
Точность/полнота контекста   = качество поиска, питающего генератор

Экономическое взвешивание — не все галлюцинации обходятся одинаково:
  ожидаемая стоимость вреда = Σ по типам ошибок (частота × P(необнаружено) ×
                       P(использовано в действии) × стоимость одной использованной в действии ошибки)
  Слой человеческой проверки задаёт P(необнаружено) — и его стоимость тоже должна
  входить в модель (минуты рецензента × объём).

Практический пример

ИИ-ассистент клинического кодирования обрабатывает 200 000 эпизодов в год; аудит показывает, что 2% выводов содержат существенную ошибку кодирования; человеческие кодировщики улавливают 85% из них:

Ошибки, дошедшие до подачи = 200,000 × 0.02 × 0.15 = 600/год
Стоимость одной необнаруженной ошибки (среднее по неверному выставлению счетов + риск аудита) ≈ £250
Ожидаемая стоимость ошибок  = 600 × 250 = £150,000/год
Стоимость проверки (2 мин × 200k × £0.50/мин)  = £200,000/год

Кейс улучшения: обоснование через поиск снижает частоту ошибок до 0.8%
→ необнаруженные ошибки 240, стоимость ошибок £60,000 (−£90k/год); время проверки
  также может снизиться (выборочная проверка вместо полной) — инвестиция в качество
  окупается ещё до всякого заявления об ускорении.

Связь с разработкой программного обеспечения

Относитесь к качеству модели как к экономике покрытия тестами, но с дисциплиной уровня здравоохранения: наборы для оценки — это ваше клиническое испытание — заранее зарегистрированные, репрезентативные для вашего микса кейсов, обновляемые против дрейфа; обоснование побеждает масштаб для фактологических задач (поиск с обязательным цитированием обычно — самый дешёвый доступный способ снизить галлюцинации; ср. юнит-экономику инференса на предмет накладных расходов по токенам); и публикуйте рабочую точку: как и чувствительность/специфичность, «достоверность 97%» ничего не значит без распределения задач и порога обнаружения. Математика проверочного слоя выше — та же арифметика NNT/NNH, что и в любом скрининговом воротце.

Подводные камни

  • Перенос с бенчмарка в продакшн: частота галлюцинаций сильно зависит от задачи; ваш микс кейсов — единственный бенчмарк, который имеет значение.
  • Неучтённая стоимость человеческой проверки: «клиницист всё проверяет» уполовинивает выгоду и должно появиться в строке затрат — а бдительность со временем угасает (автоматизационное благодушие), так что P(необнаружено) растёт вместе с доверием.
  • Оптимизация среднего качества при хвостовом риске, несущем вред: одна сфабрикованная запись об аллергии перевешивает тысячу неуклюжих формулировок; взвешивайте ошибки по последствиям, согласно формуле ожидаемого вреда.

Источники