AI معیار کے میٹرکس

AI-پیدا شدہ آؤٹ پٹ کی درستگی کے لیے میٹرکس: اعتماد/گراؤنڈنگ، اور فریب کی شرح۔ صحت کے ماحول میں یہ معیار کی باریکیاں نہیں ہیں — یہ نقصان کی شرح ہیں۔

یہ کیوں اہم ہے

میڈیکل-ڈومین بینچ مارکس نے غیر بنیادی LLM کے لیے میڈیکل کاموں پر 60% سے اوپر فریب کی شرح ماپی ہے۔

ریاضی

فریب کی شرح = غیر تصدیق شدہ/جھوٹے مواد والے آؤٹ پٹ / کل آؤٹ پٹ

حل شدہ مثال

ایک AI کلینیکل-کوڈنگ معاون سالانہ 200,000 ایپیسوڈز پر عمل کرتا ہے: جمع تک پہنچنے والی غلطیاں سالانہ 600۔

سافٹ ویئر انجینئرنگ سے تعلق

ماڈل کے معیار کو صحت-گریڈ ضابطے کے ساتھ ٹیسٹ کوریج اکنامکس کی طرح سمجھیں۔

عام غلطیاں

• بینچ مارک-سے-پروڈکشن تبدیلی۔

ذرائع

• Hallucination evaluation methods and metrics.