Klinische AI-evaluatie

Klinische AI-evaluatie is het proces waarmee wordt geverifieerd of AI-systemen veilig en effectief zijn in daadwerkelijke klinische omgevingen.

Waarom het ertoe doet

Algemene AI-kwaliteitsmetrieken vangen de mogelijkheid van klinische schade niet op.

De wiskunde

Netto klinisch voordeel = (ware positieven × voordeel) − (valse positieven × schade) − (valse negatieven × schade)

Uitgewerkt voorbeeld

AI voor vroege sepsiewaarschuwing: 100 ware positieven × voordeel 10 − 20 valse positieven × schade 2 − 5 valse negatieven × schade 20 = 860.

Verbinding met software-engineering

Verbindt AI-kwaliteitsmetrieken met klinische uitkomsten en is een voorwaarde voor AI-regelgevende evaluatie.

Valkuilen

• Laboratoriumprestaties gelijkstellen aan werkelijke inzetprestaties.

Bronnen

• FDA, Software as a Medical Device guidance.
• NICE, Evidence Standards Framework for digital health technologies.