صحت اقتصادیات میٹرکس

موضوع 78 از 91· AI تیز رفتاری

AI کوالٹی میٹرکس

AI سے تیار کردہ آؤٹ پٹ کی درستگی کے لیے میٹرکس: زمینی حقیقت کے خلاف درستگی، وفاداری/بنیاد (کیا ہر دعویٰ فراہم کردہ سیاق و سباق سے مطابقت رکھتا ہے؟)، اور فریب کاری کی شرح (آؤٹ پٹس کا کتنا حصہ غیر تعاون یافتہ یا جھوٹے مواد پر مشتمل ہے؟)۔ صحت کی ترتیبات میں یہ معیار کی خوبصورتیاں نہیں ہیں — یہ نقصان کی شرحیں ہیں۔

یہ کیوں اہم ہے

طبی ڈومین کے معیارات نے طبی کاموں پر بغیر بنیاد کے LLMs کے لیے 60% سے زیادہ فریب کاری کی شرح ناپی ہے (کچھ اوپن ماڈلز >80%)، جبکہ بنیاد، بازیافت، اور استدلال کے موڈ شرح کو ڈرامائی طور پر کم کرتے ہیں (مثلاً، GPT-5 کے سوچنے کے موڈ نے ایک معیار پر HealthBench کی فریب کاری کو 3.6% → 1.6% تک کم کیا)۔ طبی ورک فلو میں فریب زدہ خوراک یا جعلی حوالہ ایک نقصان کے راستے کے ساتھ جھوٹی معلومات کا واقعہ ہے — یہ کسی بھی اقتصادی ماڈل کے نقصان کے بازو میں شامل ہوتا ہے، اسکریننگ اقتصادیات کے غلط مثبت کی طرح قیمت لگائی جاتی ہے: ہر ایک ذیلی لاگت کو متحرک کرتی ہے (غلط معلومات پر عمل کرنا، تصدیق کا کام، طبی-قانونی خطرہ، اعتماد کا کم ہونا)۔

حساب

فریب کاری کی شرح = غیر تعاون یافتہ/جھوٹے مواد والے آؤٹ پٹس / کل آؤٹ پٹس
  اندرونی:  فراہم کردہ سیاق و سباق کی نفی کرتا ہے
  بیرونی:   سیاق و سباق سے باہر ناقابل تصدیق فبریکیشن

وفاداری (RAGAS طرز) = جواب میں تعاون یافتہ دعوے / جواب میں کل دعوے
سیاق و سباق کی درستگی/یاد   = جنریٹر کو کھلانے والی بازیافت کی معیار

معاشی وزن — تمام فریب کاریوں کی لاگت یکساں نہیں ہوتی:
  متوقع نقصان کی لاگت = Σ غلطی کی اقسام پر (شرح × P(نامعلوم) ×
                       P(عمل شدہ) × عمل شدہ غلطی کی فی غلطی لاگت)
  انسانی جائزہ کی تہہ P(نامعلوم) طے کرتی ہے — اور اس کی لاگت
  بھی ماڈل میں شامل ہونی چاہیے (جائزہ لینے والے کے منٹ × حجم)۔

حل شدہ مثال

ایک AI طبی کوڈنگ اسسٹنٹ سالانہ 200,000 واقعات پروسیس کرتا ہے؛ آڈٹ ظاہر کرتا ہے کہ 2% آؤٹ پٹس میں مادی کوڈنگ کی غلطی ہے؛ انسانی کوڈرز ان میں سے 85% پکڑتے ہیں:

جمع کرانے تک پہنچنے والی غلطیاں = 200,000 × 0.02 × 0.15 = 600/سال
فی نہ پکڑی گئی غلطی کی لاگت (اوسط غلط بلنگ + آڈٹ خطرہ) ≈ £250
متوقع غلطی کی لاگت         = 600 × 250 = £150,000/سال
جائزہ لاگت (2 منٹ × 200ہزار × £0.50/منٹ)  = £200,000/سال

بہتری کا کیس: بازیافت کی بنیاد غلطی کی شرح کو 0.8% تک کم کرتی ہے
→ نہ پکڑی گئی غلطیاں 240، غلطی کی لاگت £60,000 (−£90ہزار/سال)؛ جائزے کا
  وقت بھی کم ہو سکتا ہے (مکمل جائزے کی بجائے نمونہ گیری) — معیار میں
  سرمایہ کاری کسی بھی رفتار کے دعوے سے پہلے ادا کرتی ہے۔

سافٹ ویئر انجینئرنگ سے تعلق

ماڈل کے معیار کو ٹیسٹ کوریج کی اقتصادیات کی طرح برتیں، صحت کے درجے کے نظم و ضبط کے ساتھ: تشخیصی سیٹس آپ کی طبی آزمائش ہیں — پہلے سے رجسٹرڈ، آپ کے کیس مکس کی نمائندگی کرنے والے، انحراف کے خلاف تازہ رکھے گئے؛ حقیقی کاموں کے لیے بنیاد پیمانے کو شکست دیتی ہے (بازیافت + حوالہ-لازمی پرامپٹنگ عام طور پر دستیاب سب سے سستا فریب کاری کم کرنے کا طریقہ ہے — اس کے ٹوکن اوور ہیڈ کے لیے انفرنس یونٹ اقتصادیات دیکھیں)؛ اور آپریٹنگ پوائنٹ شائع کریں: حساسیت/مخصوصیت کی طرح، "97% وفادار" کام کی تقسیم اور پتہ لگانے کی حد کے بغیر کچھ بھی نہیں ہے۔ اوپر دیے گئے جائزہ تہہ کا حساب کسی بھی اسکریننگ گیٹ کی طرح NNT/NNH کا وہی حساب ہے۔

نقصانات

  • معیار سے پیداوار کی پیوند کاری: فریب کاری کی شرح کام پر بہت زیادہ منحصر ہوتی ہے؛ آپ کا کیس مکس واحد معیار ہے جو شمار ہوتا ہے۔
  • بغیر لاگت کے انسانی جائزہ: "ایک معالج سب کچھ چیک کرتا ہے" فائدے کو آدھا کر دیتا ہے اور لاگت کی لائن میں ظاہر ہونا چاہیے — اور چوکسی کم ہوتی ہے (آٹومیشن کی خود اطمینانی)، اس لیے P(نامعلوم) اعتماد کے ساتھ بڑھتی ہے۔
  • دم کے خطرے کو نقصان اٹھانے کے دوران اوسط معیار کو بہتر بنانا: ایک جعلی الرجی نوٹ ہزار عجیب فقروں سے زیادہ وزن رکھتا ہے؛ متوقع نقصان کے فارمولے کے مطابق نتیجے کے لحاظ سے غلطیوں کا وزن کریں۔

ذرائع