مقاييس اقتصاديات الصحة

الموضوع 79 من 91· تسريع الذكاء الاصطناعي

تقييم الذكاء الاصطناعي السريري

الإحصاءات الأساسية لتقييم نموذج ذكاء اصطناعي سريري أو تشخيصي: الحساسية، والنوعية، ومساحة تحت منحنى ROC (AUROC)، والقيم التنبؤية، وعدد الحالات اللازم فحصها. الدرس الاقتصادي المحوري: قيمة AUROC ممتازة لا تجعل النشر فعّالًا من حيث التكلفة - فالقيمة تعتمد على نقطة التشغيل، ومعدل الانتشار، وما يحدث لاحقًا بعد كل نتيجة إيجابية.

لماذا يهم هذا

الجهات التنظيمية (FDA وMHRA) تعتمد الذكاء الاصطناعي السريري عند نقطة تشغيل مُثبَّتة - زوج محدد من الحساسية/النوعية (مثال: أول نظام مستقل معتمَد من FDA لاعتلال الشبكية السكري: حساسية 87.2%، ونوعية 90.7% في تجربته المحورية). ثم يطرح خبراء اقتصاديات الصحة السؤال الذي لا تستطيع مقاييس الدقة الإجابة عليه: عند معدل انتشار سكان النشر لديك، كم تكلف كل حالة اكتشاف، وهل يستحق التصرف بناءً عليها؟ تقييم اقتصادي لذكاء اصطناعي لفحص اعتلال الشبكية (npj Digital Medicine 2024) أظهر أن الدقة الأعلى وحدها لا تضمن فعالية التكلفة بمجرد احتساب تكاليف الإحالة.

الحساب

الحساسية = TP / (TP + FN)        - من بين الإيجابيين حقًا، نسبة من تم اكتشافهم
النوعية = TN / (TN + FP)        - من بين السلبيين حقًا، نسبة من تمت تبرئتهم
AUROC       = احتمال(النموذج يرتب إيجابيًا عشوائيًا فوق سلبي عشوائي)
              0.5 صدفة … 1.0 مثالي؛ مستقل عن العتبة - وبالتالي
              غير كافٍ لقرار النشر

القيمة التنبؤية الموجبة PPV = TP / (TP + FP)   ← تعتمد على الانتشار (بايز)؛ تنهار عندما تكون الحالة نادرة
القيمة التنبؤية السالبة NPV = TN / (TN + FN)

عدد اللازم فحصهم NNS ≈ 1 / (الانتشار × الحساسية)       - عدد المفحوصين لكل حالة حقيقية تم إيجادها
التكلفة لكل حالة حقيقية = تكلفة البرنامج / TP      - المحصلة الاقتصادية النهائية

مثال محلول

نفس النموذج، بيئتان - حساسية 90%، نوعية 93%:

عيادة متخصصة (انتشار 20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  ← 3 من كل 4 تنبيهات حقيقية

رعاية أولية (انتشار 1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  ← 8 من كل 9 تنبيهات كاذبة؛ فحص تكميلي بـ350£ لكل حالة:
  التكلفة لكل حالة حقيقية = (0.009 + 0.0693) × 350 / 0.009 ≈ 3,045£ لكل حالة تم إيجادها

نفس النموذج تمامًا، لكن اقتصاديات مختلفة جذريًا - ولهذا فإن التقييم الخاص بالموقع محور تنظيمي، ولهذا فإن "نموذجنا يحقق 0.95 AUROC" هو بداية الحالة الاقتصادية لا نهايتها. انظر اقتصاديات الفحص للحساب الكامل للبرنامج.

الصلة بهندسة البرمجيات

للمهندسين الذين يبنون أو يشترون ذكاء اصطناعي سريريًا: اعرض مصفوفة الالتباس عند معدل انتشار النشر، لا منحنى ROC وحده؛ اجعل العتبة قرارًا اقتصاديًا - فالمفاضلة بين الحساسية والنوعية ينبغي أن تدنّي التكلفة المتوقعة (الحالات الفائتة × تكلفة الفوات مقابل الإنذارات الكاذبة × تكلفة الفحص التكميلي)، لا أن تعظّم إحصائية معيار مرجعي؛ وتعرّف على نفس الحساب في أدواتك أنت - أنظمة التنبيه، وكاشفات الشذوذ، وماسحات الأمان هي اختبارات تشخيصية على سلاسل أحداث منخفضة الانتشار، مع إرهاق التنبيهات باعتباره NNH. تحديثات النموذج التي تحرّك نقطة التشغيل تعيد فتح الحساب الاقتصادي (والاعتماد التنظيمي أيضًا - انظر التقييم التنظيمي للذكاء الاصطناعي).

المزالق

  • التسوّق بمعيار AUROC: مقارنة النماذج على أساس AUROC بينما ستعمل عند عتبة واحدة - قارن عند نقطة التشغيل.
  • اقتباس PPV من انتشار التجربة للنشر الواقعي - الخطأ الكلاسيكي؛ أعد الحساب دومًا عند الانتشار المحلي.
  • تحيز الطيف: النماذج المُحقَّقة على حالات واضحة مقابل ضوابط أصحاء تتفوق أداءً في الحالات الغامضة الوسطى التي تهيمن على الممارسة الفعلية.
  • غياب تسعير المسار اللاحق: كل نتيجة إيجابية تُطلق فحصًا تكميليًا؛ النموذج تدخل في اقتصاديات المسار كله.

المصادر