مقاييس اقتصاديات الصحة

الموضوع 78 من 91· تسريع الذكاء الاصطناعي

مقاييس جودة الذكاء الاصطناعي

مقاييس لصحة مخرجات الذكاء الاصطناعي المولَّدة: الدقة مقابل الحقيقة الأساسية، الصدقية/الاستناد (هل كل دعوى مدعومة بالسياق المُقدَّم؟)، ومعدل الهلوسة (ما نسبة المخرجات التي تحتوي محتوى غير مدعوم أو خاطئ؟). في السياقات الصحية، هذه ليست تفاصيل جودة كمالية - بل معدلات ضرر.

لماذا يهم هذا

قاست معايير القياس في المجال الطبي معدلات هلوسة تتجاوز 60% لنماذج اللغة الكبيرة غير المستندة على المهام الطبية (بعض النماذج المفتوحة >80%)، بينما يخفّض الاستناد والاسترجاع وأنماط التفكير المعدلات بشكل كبير (مثل خفض نمط التفكير في GPT-5 لهلوسات HealthBench من 3.6% إلى 1.6% على معيار قياس واحد). جرعة مهلوَسة أو استشهاد مُفتَرى في مسار عمل سريري هو حدث معلومات خاطئة له مسار ضرر - وينتمي إلى ذراع الأضرار في أي نموذج اقتصادي، مُثمَّن كالنتائج الإيجابية الخاطئة في اقتصاد الفحص: كل حالة تُطلِق تكلفة مصبّية (التصرف بناءً على معلومات خاطئة، عمالة التحقق، التعرض القانوني الطبي، تآكل الثقة).

طريقة الحساب

معدل الهلوسة = المخرجات المحتوية محتوى غير مدعوم/خاطئ / إجمالي المخرجات
  داخلي:  يناقض السياق المُقدَّم
  خارجي:  افتراء غير قابل للتحقق يتجاوز السياق

الصدقية (بأسلوب RAGAS) = الدعاوى المدعومة في الإجابة / إجمالي الدعاوى في الإجابة
دقة/استذكار السياق      = جودة الاسترجاع المُغذِّية للمولِّد

الترجيح الاقتصادي - ليست كل الهلوسات متساوية التكلفة:
  التكلفة المتوقعة للضرر = Σ على أنواع الخطأ (المعدل × احتمال_عدم_الاكتشاف ×
                          احتمال_التصرف_بناءً_عليه × التكلفة لكل خطأ تم التصرف بناءً عليه)
  طبقة المراجعة البشرية تحدّد احتمال_عدم_الاكتشاف - وتكلفتها تنتمي
  إلى النموذج أيضًا (دقائق المراجع × الحجم).

مثال محلول

مساعد ترميز سريري بالذكاء الاصطناعي يعالج 200,000 حالة/سنة؛ التدقيق يُظهر أن 2% من المخرجات تحتوي خطأ ترميز جوهري؛ المُرمِّزون البشريون يكشفون 85% منها:

الأخطاء التي تصل إلى التقديم = 200,000 × 0.02 × 0.15 = 600/سنة
التكلفة لكل خطأ غير مكتشَف (متوسط الفوترة الخاطئة + التعرض للتدقيق) ≈ 250£
التكلفة المتوقعة للخطأ         = 600 × 250 = 150,000£/سنة
تكلفة المراجعة (2 دقيقة × 200 ألف × 0.50£/دقيقة) = 200,000£/سنة

حالة التحسين: الاستناد بالاسترجاع يخفّض معدل الخطأ إلى 0.8%
→ الأخطاء غير المكتشَفة 240، تكلفة الخطأ 60,000£ (−90 ألف£/سنة)؛
  وقت المراجعة يمكن أن ينخفض أيضًا (أخذ عينات بدلًا من مراجعة كاملة) -
  استثمار الجودة يُسدَّد قبل أي دعوى سرعة.

الصلة بهندسة البرمجيات

عامل جودة النموذج كاقتصاد تغطية الاختبار، بانضباط بمستوى صحي: مجموعات التقييم هي تجربتك السريرية - مُسجَّلة مسبقًا، ممثِّلة لمزيج حالاتك الخاص، مُحدَّثة ضد الانحراف؛ الاستناد يتفوّق على الحجم في المهام الواقعية (الاسترجاع + توجيه يتطلّب الاستشهاد عادةً أرخص خفض متاح للهلوسة - راجع اقتصاد وحدة الاستدلال لعبء الرموز المصاحب)؛ ونشر نقطة التشغيل: كـالحساسية/الخصوصية، "97% صادق" لا يعني شيئًا دون توزيع المهام وعتبة الاكتشاف. رياضيات طبقة المراجعة أعلاه هي نفس حساب NNT/NNH لأي بوابة فحص.

المزالق

  • استيراد معيار القياس إلى الإنتاج: معدلات الهلوسة تعتمد بشدة على المهمة؛ مزيج حالاتك هو المعيار الوحيد المُعتبَر.
  • مراجعة بشرية غير مُكلَّفة: "طبيب يفحص كل شيء" يُنصِّف الفائدة ويجب أن يظهر في بند التكلفة - واليقظة تتضاءل (الرضا عن الأتمتة)، فيرتفع احتمال_عدم_الاكتشاف مع الثقة.
  • تحسين الجودة المتوسطة بينما خطر الطرف يحمل الضرر: ملاحظة حساسية مُفتَرَاة واحدة تفوق ألف صياغة محرِجة؛ رجِّح الأخطاء بالعاقبة، وفق صيغة الضرر المتوقع.

المصادر