स्वास्थ्य अर्थशास्त्र मीट्रिक्स

विषय 78 / 91· AI त्वरण

AI गुणवत्ता मापदंड

AI-जनित आउटपुट की सटीकता के मापदंड: मूल-सत्य के विरुद्ध यथार्थता, विश्वसनीयता/आधारशीलता (क्या हर दावा दिए गए संदर्भ द्वारा समर्थित है?), और मतिभ्रम दर (आउटपुट का कितना अंश असमर्थित या असत्य सामग्री रखता है?)। स्वास्थ्य परिवेश में ये केवल गुणवत्ता की बारीकियाँ नहीं हैं — ये हानि-दरें हैं।

यह क्यों महत्वपूर्ण है

चिकित्सा-क्षेत्र के बेंचमार्क ने चिकित्सा कार्यों पर बिना-आधार वाले LLM के लिए 60% से अधिक मतिभ्रम दर मापी है (कुछ खुले मॉडलों में >80%), जबकि आधारशीलता, पुनर्प्राप्ति और तर्क-मोड इन दरों को नाटकीय रूप से कम करते हैं (उदाहरण के लिए, GPT-5 के विचार-मोड ने एक बेंचमार्क पर HealthBench मतिभ्रम को 3.6% → 1.6% कर दिया)। नैदानिक कार्यप्रवाह में एक मतिभ्रमित खुराक या गढ़ा हुआ संदर्भ हानि-पथ वाली असत्य-सूचना घटना है — इसे किसी भी आर्थिक मॉडल के हानि-पक्ष में शामिल किया जाना चाहिए, ठीक स्क्रीनिंग अर्थशास्त्र के मिथ्या-सकारात्मकों की तरह मूल्य-निर्धारित: प्रत्येक एक डाउनस्ट्रीम लागत उत्पन्न करता है (ग़लत सूचना पर कार्य करना, सत्यापन श्रम, चिकित्सा-कानूनी जोखिम, विश्वास का क्षरण)।

गणना विधि

मतिभ्रम दर = असमर्थित/असत्य सामग्री वाले आउटपुट / कुल आउटपुट
  आंतरिक: दिए गए संदर्भ का खंडन करना
  बाह्य:  संदर्भ से परे अपुष्ट रचना

विश्वसनीयता (RAGAS-शैली) = उत्तर में समर्थित दावे / उत्तर में कुल दावे
संदर्भ यथार्थता/पुनरावृति = जनरेटर को दी जा रही पुनर्प्राप्ति की गुणवत्ता

आर्थिक भारण — सभी मतिभ्रमों की लागत समान नहीं होती:
  अपेक्षित हानि लागत = Σ त्रुटि प्रकारों पर (दर × P(अनदेखा) ×
                       P(कार्यान्वित) × प्रति-कार्यान्वित-त्रुटि लागत)
  मानव-समीक्षा परत P(अनदेखा) निर्धारित करती है — और इसकी लागत भी
  मॉडल में शामिल होनी चाहिए (समीक्षक मिनट × मात्रा)।

व्यावहारिक उदाहरण

एक AI नैदानिक-कोडिंग सहायक प्रति वर्ष 200,000 प्रकरण संसाधित करता है; ऑडिट दर्शाता है कि 2% आउटपुट में महत्वपूर्ण कोडिंग त्रुटि है; मानव कोडर उनमें से 85% पकड़ लेते हैं:

सबमिशन तक पहुँचने वाली त्रुटियाँ = 200,000 × 0.02 × 0.15 = 600/वर्ष
प्रति अनदेखी त्रुटि लागत (औसत ग़लत-बिलिंग + ऑडिट जोखिम) ≈ £250
अपेक्षित त्रुटि लागत      = 600 × 250 = £150,000/वर्ष
समीक्षा लागत (2 मिनट × 2 लाख × £0.50/मिनट)  = £200,000/वर्ष

सुधार परिदृश्य: पुनर्प्राप्ति-आधारण त्रुटि दर को 0.8% तक कम करता है
→ अनदेखी त्रुटियाँ 240, त्रुटि लागत £60,000 (−£90 हज़ार/वर्ष); समीक्षा
  समय भी गिर सकता है (पूर्ण समीक्षा के बजाय नमूनाकरण) — गुणवत्ता में
  निवेश किसी भी गति-दावे से पहले ही अपना मूल्य चुका देता है।

सॉफ़्टवेयर इंजीनियरिंग से संबंध

मॉडल गुणवत्ता को स्वास्थ्य-स्तरीय अनुशासन के साथ परीक्षण-कवरेज अर्थशास्त्र की तरह मानें: मूल्यांकन सेट आपका नैदानिक परीक्षण है — पूर्व-पंजीकृत, आपके केस-मिश्रण का प्रतिनिधि, बहाव के विरुद्ध ताज़ा किया गया; तथ्यात्मक कार्यों के लिए आधारशीलता पैमाने से बेहतर है (पुनर्प्राप्ति + उद्धरण-आवश्यक प्रॉम्प्टिंग सामान्यतः सबसे सस्ता उपलब्ध मतिभ्रम-न्यूनीकरण है — इसकी टोकन लागत के लिए देखें अनुमान इकाई अर्थशास्त्र); और संचालन बिंदु प्रकाशित करें: संवेदनशीलता/विशिष्टता की तरह, "97% विश्वसनीय" का बिना कार्य-वितरण और पहचान-सीमा के कोई अर्थ नहीं। ऊपर दी गई समीक्षा-परत गणित किसी भी स्क्रीनिंग द्वार के समान ही NNT/NNH अंकगणित है।

जोखिम बिंदु

  • बेंचमार्क-से-उत्पादन प्रतिरोपण: मतिभ्रम दरें कार्य पर अत्यधिक निर्भर होती हैं; आपका केस-मिश्रण ही एकमात्र गिनती योग्य बेंचमार्क है।
  • अनगिनत मानव समीक्षा: "एक चिकित्सक सब कुछ जाँचता है" लाभ को आधा कर देता है और इसे लागत-रेखा में दिखना चाहिए — और सतर्कता क्षीण होती है (स्वचालन आत्मसंतुष्टि), इसलिए विश्वास बढ़ने के साथ P(अनदेखा) बढ़ता है।
  • पूंछ-जोखिम की उपेक्षा करते हुए औसत गुणवत्ता को अनुकूलित करना: एक गढ़ा हुआ एलर्जी नोट हज़ार अटपटे वाक्यांशों से भारी होता है; अपेक्षित-हानि सूत्र के अनुसार त्रुटियों को परिणाम के आधार पर भारित करें।

स्रोत