Метрики экономики здравоохранения

Тема 78 из 91· Ускорение с помощью ИИ

Метрики качества ИИ

Метрики правильности результатов, генерируемых ИИ: точность относительно эталонной истины, достоверность/обоснованность (подкреплено ли каждое утверждение предоставленным контекстом?), и частота галлюцинаций (какая доля результатов содержит неподкреплённое или ложное содержание?). В медицинских условиях это не тонкости качества — это показатели вреда.

Почему это важно

Ориентиры в медицинской области измерили частоту галлюцинаций выше 60% для необоснованных БЯМ на медицинских задачах (некоторые открытые модели >80%), тогда как обоснование, поиск и режимы рассуждения резко снижают частоту (например, режим размышления GPT-5 снизил галлюцинации HealthBench с 3,6% до 1,6% на одном ориентире). Галлюцинированная дозировка или сфабрикованная ссылка в клиническом рабочем процессе — это событие ложной информации с путём причинения вреда — оно принадлежит к разделу вреда любой экономической модели, оцениваемое как ложноположительные результаты в экономике скрининга: каждый такой случай запускает последующие затраты (действие на основе неверной информации, работа по проверке, юридические риски, подрыв доверия).

Расчёт

Частота галлюцинаций = результаты с неподкреплённым/ложным содержанием / все результаты
  внутренние:  противоречат предоставленному контексту
  внешние:  непроверяемая фабрикация за пределами контекста

Достоверность (в стиле RAGAS) = подкреплённые утверждения в ответе / все утверждения в ответе
Точность/полнота контекста   = качество поиска, питающего генератор

Экономическое взвешивание — не все галлюцинации стоят одинаково:
  ожидаемая стоимость вреда = Σ по типам ошибок (частота × В(не обнаружено) ×
                       В(действие предпринято) × стоимость на ошибку с действием)
  Слой проверки человеком задаёт В(не обнаружено) — и его стоимость
  тоже принадлежит модели (минуты проверяющего × объём).

Разобранный пример

Помощник клинического кодирования на базе ИИ обрабатывает 200 000 эпизодов/год; аудит показывает, что 2% результатов содержат существенную ошибку кодирования; человеческие кодировщики выявляют 85% из них:

Ошибки, доходящие до подачи = 200 000 × 0,02 × 0,15 = 600/год
Стоимость на необнаруженную ошибку (среднее ошибочное выставление счетов + риск аудита) ≈ £250
Ожидаемая стоимость ошибок         = 600 × 250 = £150 000/год
Стоимость проверки (2 мин × 200 тыс × £0,50/мин)  = £200 000/год

Случай улучшения: обоснование через поиск снижает частоту ошибок до 0,8%
→ необнаруженные ошибки 240, стоимость ошибок £60 000 (−£90 тыс/год); время
  проверки тоже может снизиться (выборочная проверка вместо полной) — инвестиция
  в качество окупается ещё до каких-либо заявлений о скорости.

Связь с программной инженерией

Относитесь к качеству модели как к экономике покрытия тестами, с дисциплиной уровня здравоохранения: наборы оценки — это ваше клиническое испытание — предварительно зарегистрированные, репрезентативные для вашей смеси случаев, обновляемые против дрейфа; обоснование побеждает масштаб для фактических задач (поиск + запросы с обязательной ссылкой обычно являются наиболее дешёвым доступным способом снижения галлюцинаций — см. юнит-экономику вывода для её накладных расходов на токены); и публикуйте рабочую точку: как чувствительность/специфичность, «97% достоверности» ничего не значит без распределения задач и порога обнаружения. Приведённая выше математика слоя проверки — это та же арифметика ЧБНЛ/ЧБНВ, что и у любых ворот скрининга.

Подводные камни

  • Пересадка от эталона к продакшену: частота галлюцинаций сильно зависит от задачи; ваша смесь случаев — единственный ориентир, который имеет значение.
  • Неоценённая проверка человеком: «клиницист всё проверяет» вдвое снижает выгоду и должна фигурировать в строке затрат — и бдительность угасает (самоуспокоенность из-за автоматизации), поэтому В(не обнаружено) растёт с доверием.
  • Оптимизация среднего качества, когда риск в хвосте несёт вред: одна сфабрикованная запись об аллергии перевешивает тысячу неуклюжих формулировок; взвешивайте ошибки по последствиям, согласно формуле ожидаемого вреда.

Источники