Метрики экономики здравоохранения

Тема 87 из 91· Потребительские приложения и устройства для здоровья

Валидация носимых устройств (Wearable Validation)

Метрики валидации количественно оценивают, насколько хорошо измерения носимого устройства согласуются с клиническим золотым стандартом (ЭКГ для частоты сердечных сокращений, полисомнография для сна): MAPE, коэффициент согласованности (concordance correlation), согласие по Бланду-Альтману — плюс операционные метрики, определяющие качество реальных данных: соответствие времени ношения (wear-time compliance) и полнота данных.

Почему это важно

Валидация — предпосылка для всего последующего: устройство, не способное доказать согласие с эталонным измерением, не может закрепить цифровые конечные точки, поддержать выставление счетов RPM или нести клинические заявления. Принятые в отрасли пороги для частоты сердечных сокращений: MAPE ≤5% (строгий) или ≤10% (мягкий) относительно ЭКГ. Референсные точки из литературы: MAPE частоты сердечных сокращений в покое Oura Gen 3 составляет 1,67% (CCC 0,97); Fitbit Charge 6 MAPE ~5,5% — потребительские устройства теперь охватывают границу клинического уровня, что как раз и объясняет, почему измерение важно для каждого устройства и каждого условия отдельно.

Математика

MAPE = (1/n) Σ |измеренное_i − эталонное_i| / эталонное_i × 100

CCC (коэффициент согласованности) = согласие, учитывающее и корреляцию,
      и систематическое смещение (r Пирсона со штрафом за сдвиг положения/масштаба)

Бланд-Альтман: среднее смещение ± 1.96 стандартного отклонения границ согласия —
      показывает, зависит ли ошибка от величины значения

Операционные шлюзы:
Соответствие времени ношения = время ношения / время по протоколу × 100
Полнота данных                = наблюдённые точки данных / ожидаемые × 100

Валидация должна отчитываться по каждому условию активности (покой, движение, сон) и по каждой популяции — оптическое зондирование PPG деградирует при артефактах движения, плохом контакте и более тёмных тонах кожи — документированный режим отказа, значимый для равенства доступа.

Практический пример

Программа виртуальной палаты выбирает носимое устройство для мониторинга. Кандидат A: MAPE в покое 2,1%, MAPE при нагрузке 11,4%. Кандидат B: покой 3,8%, нагрузка 6,9%.

Сценарий использования: выявление ухудшения состояния пациента дома —
оповещения срабатывают при устойчиво повышенной ЧСС, часто во время активности.
Заголовочный показатель кандидата A (2.1%) выигрывает в брошюре; кандидат B
выигрывает в реальном сценарии: при условии, значимом для оповещения
(движение), ошибка A в 11.4% при ЧСС 100 = ±11 уд/мин — охватывает всю
полосу порога оповещения, порождая ложные эскалации (каждая — вызов
медсестры, ~£40) или пропуски.

Экономика ложных оповещений: 500 пациентов × 2 доп. ложных оповещения/неделю
× £40 = £2.08M/год стоимости ошибки из-за выбора неверного показателя валидации.

Связь с разработкой программного обеспечения

Инженеры потребляют данные валидации при выборе датчиков и производят их при создании функций измерения — обе роли нуждаются в одной и той же дисциплине: тестируйте в условиях развёртывания, а не в условиях демонстрации (программный аналог: бенчмаркинг на вашей продакшн-нагрузке, а не на нагрузке вендора). Время ношения и полнота — это исходы продуктовой инженерии — комфорт, время работы батареи, дизайн ритуала зарядки и надёжность синхронизации определяют, будет ли выполнен шлюз выставления счетов RPM «16 дней из 30» (экономика удалённого мониторинга пациентов) и будут ли датасеты испытаний анализируемы. Относитесь к пропускам данных как к спроектированному сигналу: с первого дня различайте в схеме «не носилось», «носилось, но нет сигнала» и «сбой синхронизации» — свёрнутые в null, они отравляют любой последующий анализ.

Подводные камни

  • Агрегированный MAPE, скрывающий отказ, специфичный для условия — ловушка практического примера выше.
  • Популяция валидации ≠ популяция развёртывания: возраст, тон кожи, тремор, ожирение — всё это сдвигает ошибку оптического датчика; проверяйте демографию исследования.
  • Отчёт о корреляции там, где нужно согласие: высокий коэффициент корреляции Пирсона с систематическим смещением всё равно неверно классифицирует относительно абсолютных порогов — настаивайте на CCC/Бланде-Альтмане.
  • Раздутая полнота за счёт импутации: заполненные пропуски, представленные как наблюдённые данные.

Источники