صحت اقتصادیات میٹرکس

موضوع 79 از 91· AI تیز رفتاری

طبی AI تشخیص

ایک طبی AI یا تشخیصی ماڈل کا اندازہ لگانے کے لیے بنیادی اعداد و شمار: حساسیت، مخصوصیت، AUROC، پیش گوئی کرنے والی قدریں، اور اسکرین کرنے کے لیے درکار تعداد۔ مرکزی معاشی سبق: ایک شاندار AUROC ایک لاگت-موثر تعیناتی نہیں بناتا — قدر آپریٹنگ پوائنٹ، پھیلاؤ، اور ہر مثبت کے ذیلی نتائج پر منحصر ہے۔

یہ کیوں اہم ہے

ریگولیٹرز (FDA، MHRA) طبی AI کو ایک مقفل آپریٹنگ پوائنٹ پر اجازت دیتے ہیں — ایک مخصوص حساسیت/مخصوصیت جوڑی (مثلاً، پہلا FDA-منظور شدہ خودمختار ذیابیطسی ریٹینوپیتھی نظام: اس کے اہم آزمائش میں حساسیت 87.2%، مخصوصیت 90.7%)۔ صحت کے ماہرین اقتصادیات پھر وہ سوال پوچھتے ہیں جس کا جواب درستگی کے میٹرکس نہیں دے سکتے: آپ کی تعیناتی کی آبادی کے پھیلاؤ پر، ہر تشخیص کی لاگت کتنی ہے، اور کیا اس پر عمل کرنا قابل قدر ہے؟ ریٹینوپیتھی-اسکریننگ AI کی ایک اقتصادی تشخیص (npj Digital Medicine 2024) نے دکھایا کہ ریفرل کے اخراجات شمار کیے جانے کے بعد زیادہ درستگی اکیلے لاگت-تاثیر کی ضمانت نہیں دیتی۔

حساب

حساسیت = TP / (TP + FN)        — واقعی مثبت میں سے، پکڑا گیا حصہ
مخصوصیت = TN / (TN + FP)        — واقعی منفی میں سے، صاف کیا گیا حصہ
AUROC   = P(ماڈل ایک بے ترتیب مثبت کو بے ترتیب منفی سے اوپر رینک کرتا ہے)
              0.5 موقع … 1.0 کامل؛ حد سے آزاد — اور اس لیے
              تعیناتی کے فیصلے کے لیے ناکافی

PPV = TP / (TP + FP)   ← پھیلاؤ پر منحصر (بیس)؛ جب نایاب ہو تو گر جاتا ہے
NPV = TN / (TN + FN)

NNS  ≈ 1 / (پھیلاؤ × حساسیت)       — ہر پائے گئے حقیقی کیس کے لیے اسکرین شدہ
فی حقیقی کیس لاگت = پروگرام کی لاگت / TP      — اقتصادی نچلی لائن

حل شدہ مثال

وہی ماڈل، دو ترتیبات — حساسیت 90%، مخصوصیت 93%:

ماہر کلینک (پھیلاؤ 20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → 4 میں سے 3 الرٹس حقیقی

بنیادی دیکھ بھال (پھیلاؤ 1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → 9 میں سے 8 الرٹس جھوٹے؛ ہر ایک £350 پر کام:
  فی حقیقی کیس لاگت = (0.009 + 0.0693) × 350 / 0.009 ≈ £3,045 فی پائے گئے کیس

  یکساں ماڈل، بنیادی طور پر مختلف معیشت — یہی وجہ ہے کہ سائٹ کے لیے مخصوص تشخیص ایک ریگولیٹری موضوع ہے اور کیوں "ہمارے ماڈل کا 0.95 AUROC ہے" ایک اقتصادی کیس کا آغاز ہے، اختتام نہیں۔ مکمل پروگرام کے حساب کے لیے [اسکریننگ اقتصادیات](../اسکریننگ-اقتصادیات/) دیکھیں۔

سافٹ ویئر انجینئرنگ سے تعلق

طبی AI بنانے یا خریدنے والے انجینئرز کے لیے: تعیناتی کے پھیلاؤ پر کنفیوژن میٹرکس بھیجیں، صرف ROC منحنی خط نہیں؛ حد کو ایک اقتصادی فیصلہ بننے دیں — حساسیت/مخصوصیت کا سمجھوتہ متوقع لاگت کو کم سے کم کرنا چاہیے (چھوٹے کیسز × چھوٹنے کی لاگت بمقابلہ جھوٹے الارم × کام کی لاگت)، معیار کے شماریاتی اعداد و شمار کو زیادہ سے زیادہ نہیں؛ اور اپنے ٹولنگ میں وہی حساب پہچانیں — الرٹ سسٹمز، بے قاعدگی کا پتہ لگانے والے، اور حفاظتی اسکینرز کم پھیلاؤ والے واقعات کے سلسلوں پر تشخیصی ٹیسٹ ہیں، الرٹ تھکاوٹ کے ساتھ NNH کے طور پر۔ ماڈل کی اپ ڈیٹس جو آپریٹنگ پوائنٹ کو منتقل کرتی ہیں معیشت دوبارہ کھولتی ہیں (اور ریگولیٹری اجازت — دیکھیں AI ریگولیٹری تشخیص)۔

نقصانات

  • AUROC کی خریداری: AUROC پر ماڈلز کا موازنہ کرنا جب وہ ایک حد پر چلیں گے — آپریٹنگ پوائنٹ پر موازنہ کریں۔
  • حقیقی دنیا کی تعیناتی کے لیے آزمائشی-پھیلاؤ PPV کا حوالہ — کلاسک؛ ہمیشہ مقامی پھیلاؤ پر دوبارہ حساب کریں۔
  • سپیکٹرم تعصب: واضح کیسز پر توثیق شدہ ماڈلز بمقابلہ صحت مند کنٹرولز مبہم درمیانی حصے پر زیادہ کارکردگی دکھاتے ہیں جو عمل پر غالب رہتا ہے۔
  • کوئی ذیلی راستے کا حساب نہیں: ہر مثبت ایک کام شروع کرتا ہے؛ ایک ماڈل پورے راستے کی معیشت پر ایک مداخلت ہے۔

ذرائع