مقاييس اقتصاديات الصحة

الموضوع 78 من 91· تسريع الذكاء الاصطناعي

مقاييس جودة الذكاء الاصطناعي

مقاييس لدقة مخرجات الذكاء الاصطناعي: الدقة مقابل الحقيقة الأرضية (ground truth)، والأمانة/الاستناد للمصدر (Faithfulness/Groundedness) (هل كل ادعاء مدعوم بالسياق المُقدَّم؟)، ومعدل الهلوسة (ما نسبة المخرجات التي تحتوي محتوى غير مدعوم أو زائف؟). في السياقات الصحية، ليست هذه من كماليات الجودة - بل هي معدلات ضرر.

لماذا يهم هذا

قاست معايير مرجعية في المجال الطبي معدلات هلوسة تتجاوز 60% لنماذج اللغة الكبيرة غير المستندة إلى مصدر في المهام الطبية (بعض النماذج المفتوحة تتجاوز 80%)، في حين أن الاستناد للمصدر، والاسترجاع، وأنماط التفكير تقلّص هذه المعدلات بشكل كبير (مثال: خفّض نمط التفكير في GPT-5 هلوسات HealthBench من 3.6% إلى 1.6% في أحد المعايير المرجعية). الجرعة المُهلوَسة أو الاستشهاد المُلفَّق في مسار عمل سريري هو حدث معلومات زائفة له مسار ضرر - وينتمي إلى فرع الأضرار في أي نموذج اقتصادي، ويُسعَّر مثل الإيجابيات الكاذبة في اقتصاديات الفحص: فكل حالة منها تُطلق تكلفة لاحقة (التصرف بناءً على معلومة خاطئة، وعمالة التحقق، والتعرض القانوني الطبي، وتآكل الثقة).

الحساب

معدل الهلوسة = المخرجات المحتوية على محتوى غير مدعوم/زائف / إجمالي المخرجات
  داخلي (intrinsic): يناقض السياق المُقدَّم
  خارجي (extrinsic): تلفيق لا يمكن التحقق منه يتجاوز السياق

الأمانة (بنمط RAGAS) = الادعاءات المدعومة في الإجابة / إجمالي الادعاءات في الإجابة
دقة/استدعاء السياق = جودة الاسترجاع المغذّية للمولِّد

الترجيح الاقتصادي - ليست كل الهلوسات متساوية التكلفة:
  تكلفة الضرر المتوقعة = مجموع أنواع الخطأ (المعدل × احتمال عدم الاكتشاف ×
                       احتمال التصرف بناءً عليه × التكلفة لكل خطأ تم التصرف بناءً عليه)
  طبقة المراجعة البشرية تحدد احتمال عدم الاكتشاف - وتكلفتها
  ينبغي أن تدخل النموذج أيضًا (دقائق المراجع × الحجم).

مثال محلول

مساعد ترميز سريري يعتمد على الذكاء الاصطناعي يعالج 200,000 حلقة رعاية سنويًا؛ تُظهر المراجعة أن 2% من المخرجات تحتوي خطأ ترميز جوهريًا؛ يكتشف المُرمِّزون البشريون 85% منها:

الأخطاء التي تصل إلى التقديم النهائي = 200,000 × 0.02 × 0.15 = 600/سنة
التكلفة لكل خطأ غير مُكتشَف (متوسط الفوترة الخاطئة + التعرض للمراجعة) ≈ 250£
تكلفة الخطأ المتوقعة = 600 × 250 = 150,000£/سنة
تكلفة المراجعة (2 دقيقة × 200 ألف × 0.50£/دقيقة) = 200,000£/سنة

حالة التحسين: الاستناد بالاسترجاع يخفّض معدل الخطأ إلى 0.8%
← أخطاء غير مكتشفة 240، تكلفة الخطأ 60,000£ (−90 ألف£/سنة)؛ ووقت
  المراجعة يمكن أن ينخفض أيضًا (معاينة عينات بدلًا من مراجعة كاملة) - فالاستثمار
  في الجودة يؤتي ثماره قبل أي ادعاء بالسرعة.

الصلة بهندسة البرمجيات

عامِل جودة النموذج مثل اقتصاديات تغطية الاختبارات، مع انضباط بمستوى صحي: مجموعات التقييم هي تجربتك السريرية - مسجَّلة مسبقًا، وممثِّلة لمزيج حالاتك أنت، ومُحدَّثة باستمرار ضد الانحراف؛ والاستناد للمصدر يتفوق على الحجم في المهام الواقعية (الاسترجاع مع توجيه يتطلب الاستشهاد عادةً ما يكون أرخص وسيلة متاحة لخفض الهلوسة - قارن اقتصاديات وحدة الاستدلال للعبء الرمزي المصاحب)؛ وانشر نقطة التشغيل: كما في الحساسية/النوعية، فإن "97% أمانة" لا يعني شيئًا دون توزيع المهام وعتبة الاكتشاف. وحساب طبقة المراجعة أعلاه هو ذات حساب NNT/NNH المستخدم في أي بوابة فحص.

المزالق

  • نقل نتائج المعايير المرجعية إلى الإنتاج كما هي: معدلات الهلوسة تتفاوت بشدة حسب المهمة؛ ومزيج حالاتك أنت هو المعيار المرجعي الوحيد المعتبر.
  • مراجعة بشرية غير مُكلَّفة: "الطبيب يراجع كل شيء" يخفّض الفائدة إلى النصف ويجب أن يظهر في بند التكلفة - واليقظة تتراجع مع الوقت (التراخي الآلي)، فيرتفع احتمال عدم الاكتشاف مع تزايد الثقة.
  • تحسين الجودة المتوسطة بينما يحمل الطرف المتطرف الضرر: ملاحظة حساسية مُلفَّقة واحدة تفوق ألف صياغة ركيكة؛ رجِّح الأخطاء بحسب العاقبة، وفق معادلة الضرر المتوقع.

المصادر