Kliniczna ocena AI

Kliniczna ocena AI to proces weryfikacji, czy systemy AI są bezpieczne i skuteczne w rzeczywistych warunkach klinicznych.

Dlaczego to ważne

Ogólne wskaźniki jakości AI nie uchwytują potencjału szkody klinicznej.

Matematyka

Netto korzyść kliniczna = (prawdziwie pozytywne × korzyść) − (fałszywie pozytywne × szkoda) − (fałszywie negatywne × szkoda)

Rozwiązany przykład

AI do wczesnego ostrzegania o sepsie: 100 prawdziwie pozytywnych × korzyść 10 − 20 fałszywie pozytywnych × szkoda 2 − 5 fałszywie negatywnych × szkoda 20 = 860.

Powiązanie z inżynierią oprogramowania

Łączy wskaźniki jakości AI z wynikami klinicznymi i jest warunkiem wstępnym dla regulacyjnej oceny AI.

Pułapki

• Utożsamianie wydajności laboratoryjnej z rzeczywistą wydajnością wdrożenia.

Źródła

• FDA, Software as a Medical Device guidance.
• NICE, Evidence Standards Framework for digital health technologies.