स्वास्थ्य अर्थशास्त्र मीट्रिक्स

विषय 79 / 91· AI त्वरण

नैदानिक AI मूल्यांकन

एक नैदानिक AI या निदान मॉडल के मूल्यांकन के लिए मूल सांख्यिकी: संवेदनशीलता, विशिष्टता, AUROC, पूर्वानुमान मूल्य, और स्क्रीन करने के लिए आवश्यक संख्या। केंद्रीय आर्थिक पाठ: एक शानदार AUROC लागत-प्रभावी तैनाती नहीं बनाता — मूल्य संचालन-बिंदु, प्रसार, और हर सकारात्मक के बाद डाउनस्ट्रीम क्या होता है इस पर निर्भर करता है।

यह क्यों महत्वपूर्ण है

नियामक (FDA, MHRA) नैदानिक AI को एक लॉक किए गए संचालन-बिंदु पर अधिकृत करते हैं — एक विशिष्ट संवेदनशीलता/विशिष्टता जोड़ी (उदाहरण के लिए, पहला FDA-स्वीकृत स्वायत्त डायबिटिक-रेटिनोपैथी सिस्टम: इसके प्रमुख परीक्षण में संवेदनशीलता 87.2%, विशिष्टता 90.7%)। स्वास्थ्य अर्थशास्त्री फिर वह प्रश्न पूछते हैं जिसका उत्तर सटीकता मापदंड नहीं दे सकते: आपकी तैनाती-जनसंख्या के प्रसार पर, हर पहचान की लागत क्या है, और क्या उस पर कार्रवाई करना उचित है? रेटिनोपैथी-स्क्रीनिंग AI का एक आर्थिक मूल्यांकन (npj Digital Medicine 2024) दिखाता है कि रेफ़रल लागतें गिनने के बाद केवल उच्च सटीकता लागत-प्रभावशीलता की गारंटी नहीं देती।

गणना विधि

संवेदनशीलता = TP / (TP + FN)        — वास्तविक सकारात्मकों में से, पकड़ा गया अंश
विशिष्टता   = TN / (TN + FP)        — वास्तविक नकारात्मकों में से, साफ़ किया गया अंश
AUROC       = P(मॉडल एक यादृच्छिक सकारात्मक को यादृच्छिक नकारात्मक से ऊपर रैंक करता है)
              0.5 संयोग … 1.0 पूर्ण; सीमा-स्वतंत्र — और इसलिए
              तैनाती-निर्णय के लिए अपर्याप्त

PPV = TP / (TP + FP)   ← प्रसार-निर्भर (बेज़); दुर्लभ होने पर गिर जाता है
NPV = TN / (TN + FN)

NNS  ≈ 1 / (प्रसार × संवेदनशीलता)       — प्रति सच्चे मामले के लिए स्क्रीन किए गए
प्रति सच्चे मामले लागत = कार्यक्रम लागत / TP      — आर्थिक तल-रेखा

व्यावहारिक उदाहरण

वही मॉडल, दो परिवेश — संवेदनशीलता 90%, विशिष्टता 93%:

विशेषज्ञ क्लिनिक (प्रसार 20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → हर 4 अलर्ट में से 3 वास्तविक

प्राथमिक देखभाल (प्रसार 1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → हर 9 अलर्ट में से 8 झूठे; प्रति-जाँच £350:
  प्रति सच्चे मामले लागत = (0.009 + 0.0693) × 350 / 0.009 ≈ प्रति मामला £3,045

समान मॉडल, बिल्कुल भिन्न अर्थशास्त्र — इसीलिए स्थल-विशिष्ट मूल्यांकन एक नियामक विषय है और इसीलिए "हमारे मॉडल का AUROC 0.95 है" एक आर्थिक प्रकरण की शुरुआत है, अंत नहीं। पूर्ण कार्यक्रम गणित के लिए देखें स्क्रीनिंग अर्थशास्त्र।

सॉफ़्टवेयर इंजीनियरिंग से संबंध

नैदानिक AI बनाने या ख़रीदने वाले इंजीनियरों के लिए: तैनाती-प्रसार पर भ्रम-मैट्रिक्स भेजें, केवल ROC वक्र नहीं; सीमा को एक आर्थिक निर्णय बनने दें — संवेदनशीलता/विशिष्टता का समझौता अपेक्षित लागत को न्यूनतम करना चाहिए (छूटे मामले × छूट-लागत बनाम झूठे अलार्म × जाँच-लागत), किसी बेंचमार्क सांख्यिकी को अधिकतम नहीं; और अपने ही उपकरणों में यही गणित पहचानें — अलर्ट सिस्टम, विसंगति-डिटेक्टर, और सुरक्षा-स्कैनर कम-प्रसार घटना-प्रवाह पर निदान परीक्षण हैं, जिनमें अलर्ट-थकान NNH के समान है। मॉडल अद्यतन जो संचालन-बिंदु बदलते हैं वे अर्थशास्त्र को फिर से खोलते हैं (और नियामक स्वीकृति भी — देखें AI नियामक मूल्यांकन)।

जोखिम बिंदु

  • AUROC ख़रीदारी: मॉडलों की तुलना AUROC पर करना जब वे एक सीमा पर चलेंगे — संचालन-बिंदु पर तुलना करें।
  • वास्तविक-विश्व तैनाती के लिए परीक्षण-प्रसार PPV उद्धृत करना — क्लासिक; हमेशा स्थानीय प्रसार पर पुनर्गणना करें।
  • स्पेक्ट्रम पूर्वाग्रह: स्पष्ट मामलों बनाम स्वस्थ नियंत्रणों पर सत्यापित मॉडल उस अस्पष्ट मध्य पर अति-प्रदर्शन करते हैं जो अभ्यास पर हावी होता है।
  • कोई डाउनस्ट्रीम पथ लागत-गणना नहीं: हर सकारात्मक एक जाँच ट्रिगर करता है; एक मॉडल पूरे पथ के अर्थशास्त्र पर एक हस्तक्षेप है।

स्रोत