Klinisk KI-evaluering

Klinisk KI-evaluering er processen med at verificere, om KI-systemer er sikre og effektive i faktiske kliniske miljøer.

Hvorfor det er vigtigt

Generelle KI-kvalitetsnøgletal fanger ikke potentialet for klinisk skade.

Matematikken

Netto klinisk gevinst = (sande positive × gevinst) − (falsk positive × skade) − (falsk negative × skade)

Gennemarbejdet eksempel

KI til tidlig sepsisvarsel: 100 sande positive × gevinst 10 − 20 falsk positive × skade 2 − 5 falsk negative × skade 20 = 860.

Forbindelse til softwareudvikling

Kobler KI-kvalitetsnøgletal til kliniske udfald og er en forudsætning for KI-regulatorisk evaluering.

Faldgruber

• At sidestille laboratorieydeevne med faktisk ydeevne ved indførelse.

Kilder

• FDA, Software as a Medical Device guidance.
• NICE, Evidence Standards Framework for digital health technologies.