Метрики экономики здравоохранения

Тема 87 из 91· Потребительские приложения и устройства для здоровья

Валидация носимых устройств

Метрики валидации количественно оценивают, насколько хорошо измерения носимого устройства согласуются с клиническим золотым стандартом (ЭКГ для частоты сердечных сокращений, полисомнография для сна): САПО (средняя абсолютная процентная ошибка), корреляция соответствия, согласие Бланда-Альтмана — плюс операционные метрики, которые контролируют качество реальных данных: соответствие времени ношения и полнота данных.

Почему это важно

Валидация — это предпосылка для всего последующего: устройство, которое не может доказать согласие с референсным измерением, не может закрепить цифровые конечные точки, поддерживать выставление счетов RPM или нести клинические заявления. Принятые в отрасли пороги для частоты сердечных сокращений: САПО ≤5% (строгий) или ≤10% (мягкий) против ЭКГ. Референсные точки из литературы: САПО частоты покоя Oura Gen 3 1,67% (CCC 0,97); Fitbit Charge 6 САПО ~5,5% — потребительские устройства теперь охватывают границу клинического класса, что именно поэтому измерение имеет значение по устройству и по состоянию.

Расчёт

САПО = (1/n) Σ |измерено_i − референс_i| / референс_i × 100

CCC (корреляция соответствия) = согласие, включающее и корреляцию,
      и систематическое смещение (r Пирсона, оштрафованный сдвигом
      положения/масштаба)

Бланд-Альтман: среднее смещение ± 1,96 СО пределов согласия — показывает,
      зависит ли ошибка от величины значения

Операционные ворота:
Соответствие времени ношения = время ношения / время протокола × 100
Полнота данных                = наблюдаемые точки данных / ожидаемые × 100

Валидация должна отчитываться по условию активности (покой, движение, сон) и по популяции — оптическое зондирование PPG деградирует при артефактах движения, плохом контакте и более тёмных тонах кожи — документированный, релевантный для справедливости режим отказа.

Разобранный пример

Программа виртуальной палаты выбирает носимое устройство мониторинга. Кандидат A: САПО покоя 2,1%, САПО нагрузки 11,4%. Кандидат B: покой 3,8%, нагрузка 6,9%.

Сценарий использования: обнаружение ухудшающегося пациента дома — предупреждения
срабатывают при устойчиво повышенной ЧСС, часто во время активности.
Заголовок кандидата A (2,1%) выигрывает брошюру; кандидат B выигрывает
сценарий использования: при релевантном для предупреждения условии (движение)
ошибка A в 11,4% при ЧСС 100 = ±11 уд/мин — охватывающая всю полосу порога
предупреждения, генерирующая ложные эскалации (каждая — вызов медсестры, ~£40)
или пропуски.

Экономика ложных предупреждений: 500 пациентов × 2 дополнительных ложных
предупреждения/неделя × £40 = £2,08млн/год стоимости ошибки от выбора
неверного числа валидации.

Связь с программной инженерией

Инженеры потребляют данные валидации при выборе датчиков и производят их при создании функций измерения — обеим ролям нужна одна и та же дисциплина: тестируйте в условиях развёртывания, а не в условиях демонстрации (программный аналог: бенчмаркинг на вашей продакшен-нагрузке, а не нагрузке поставщика). Время ношения и полнота — это исходы продуктовой инженерии — комфорт, время работы от батареи, дизайн ритуала зарядки и надёжность синхронизации определяют, соблюдены ли ворота выставления счетов RPM в 16 из 30 дней (экономика дистанционного мониторинга пациентов) и анализируемы ли наборы данных испытания. Относитесь к пропускам как к спроектированному сигналу: различайте «не носилось», «носилось, но нет сигнала» и «синхронизация не удалась» в схеме с первого дня — свёрнутые в null, они отравляют каждый последующий анализ.

Подводные камни

  • Агрегированный САПО, скрывающий отказ, специфичный для условия — ловушка разобранного примера.
  • Популяция валидации ≠ популяция развёртывания: возраст, тон кожи, тремор, ожирение — всё это сдвигает ошибку оптического датчика; проверяйте демографию исследования.
  • Отчёт о корреляции там, где нужно согласие: высокий r Пирсона с систематическим смещением всё ещё неправильно классифицирует против абсолютных порогов — настаивайте на CCC/Бланде-Альтмане.
  • Полнота, раздутая импутацией: заполненные пробелы, отчитанные как наблюдаемые данные.

Источники