ক্লিনিক্যাল AI মূল্যায়ন

একটি ক্লিনিক্যাল AI বা ডায়াগনস্টিক মডেল মূল্যায়নের মূল পরিসংখ্যান: সংবেদনশীলতা, বিশেষত্ব, AUROC, ভবিষ্যদ্বাণীমূলক মান, এবং স্ক্রিনিং প্রয়োজনীয় সংখ্যা। কেন্দ্রীয় অর্থনৈতিক শিক্ষা: একটি চমৎকার AUROC একটি ব্যয়-কার্যকর স্থাপনা তৈরি করে না।

কেন এটি গুরুত্বপূর্ণ

নিয়ন্ত্রক (FDA, MHRA) একটি লক করা অপারেটিং পয়েন্টে ক্লিনিক্যাল AI অনুমোদন করে — একটি নির্দিষ্ট সংবেদনশীলতা/বিশেষত্ব জোড়া।

গণিত

সংবেদনশীলতা = TP / (TP + FN)
বিশেষত্ব   = TN / (TN + FP)
PPV = TP / (TP + FP)   ← প্রাদুর্ভাব-নির্ভর

সমাধানকৃত উদাহরণ

একই মডেল, দুটি সেটিং — সংবেদনশীলতা ৯০%, বিশেষত্ব ৯৩%:

বিশেষজ্ঞ ক্লিনিক (প্রাদুর্ভাব 20%): PPV ≈ 76%
প্রাথমিক যত্ন (প্রাদুর্ভাব 1%): PPV ≈ 11.5%
  → 9-এর মধ্যে 8টি সতর্কতা মিথ্যা

সফটওয়্যার প্রকৌশলের সাথে সংযোগ

ক্লিনিক্যাল AI নির্মাণ বা ক্রয়কারী প্রকৌশলীদের জন্য: স্থাপনা প্রাদুর্ভাবে কনফিউশন ম্যাট্রিক্স পাঠান, শুধু ROC বক্ররেখা নয়।

ঝুঁকিপূর্ণ দিক

• AUROC কেনাকাটা: একটি থ্রেশহোল্ডে চলবে যখন মডেলের তুলনা AUROC-তে করা।
• প্রকৃত-বিশ্ব স্থাপনার জন্য উদ্ধৃত ট্রায়াল-প্রাদুর্ভাব PPV।

উৎস

• Diagnostic accuracy measures reference.
• Economic evaluation of AI retinopathy screening, npj Digital Medicine 2024.