AI गुणवत्ता मीट्रिक्स

AI-उत्पन्न आउटपुट की शुद्धता के लिए मीट्रिक्स: विश्वसनीयता/ग्राउंडिंग, और मतिभ्रम दर। स्वास्थ्य परिवेश में ये गुणवत्ता की बारीकियाँ नहीं हैं — ये हानि दरें हैं।

यह क्यों महत्वपूर्ण है

मेडिकल-डोमेन बेंचमार्क ने अनग्राउंडेड LLM के लिए मेडिकल कार्यों पर 60% से ऊपर मतिभ्रम दर मापी है।

गणित

मतिभ्रम दर = असमर्थित/झूठी सामग्री वाले आउटपुट / कुल आउटपुट

हल किया गया उदाहरण

एक AI क्लिनिकल-कोडिंग सहायक सालाना 200,000 एपिसोड संसाधित करता है; ऑडिट दिखाता है 2% आउटपुट में एक भौतिक कोडिंग त्रुटि है:

जमा तक पहुँचने वाली त्रुटियाँ = सालाना 600

सॉफ़्टवेयर इंजीनियरिंग से संबंध

मॉडल गुणवत्ता को स्वास्थ्य-ग्रेड अनुशासन के साथ टेस्ट कवरेज अर्थशास्त्र की तरह मानें।

सामान्य गलतियाँ

• बेंचमार्क-से-उत्पादन प्रतिस्थापन।

स्रोत

• Hallucination evaluation methods and metrics.