مقاييس اقتصاديات الصحة

الموضوع 75 من 91· تسريع الذكاء الاصطناعي

إنتاجية المطوّرين بالذكاء الاصطناعي

مقاييس لما تفعله فعليًا مساعدة الذكاء الاصطناعي في الترميز بمخرجات الهندسة: معدلات قبول الاقتراحات، تسريعات الدراسات الضابطة، إنتاجية طلبات السحب (PR)، واحتفاظ الشفرة. قاعدة الأدلة متناقضة حقًا - ما يجعلها دراسة حالة مثالية للتمييز بين الفعالية النظرية والفعالية الفعلية الذي بُني اقتصاد الصحة لمعالجته.

لماذا يهم هذا

أكثر دراستين ضابطتين استُشهد بهما تشيران إلى اتجاهين متعارضين:

  • Peng et al. 2023 (تجربة GitHub Copilot العشوائية المضبوطة): أكمل المطوّرون مهمة خادم HTTP من الصفر أسرع بنسبة 55.8% مع Copilot (ساعة و11 دقيقة مقابل ساعتين و41 دقيقة، n=95).
  • تجربة METR 2025 العشوائية المضبوطة: مطوّرون ذوو خبرة في المصادر المفتوحة يعملون على مستودعاتهم الناضجة الخاصة كانوا أبطأ بنسبة 19% مع أدوات الذكاء الاصطناعي من أوائل 2025 (16 مطوّرًا، 246 مهمة) - بينما اعتقدوا أنهم أسرع بنسبة 20%.

كلتا الدراستين جيدة. التناقض نفسه هو النتيجة: فعالية المهام من الصفر لا تنتقل إلى الفعالية الفعلية في قواعد الشفرة الناضجة، والفائدة المُتصوَّرة لا يمكن أن تحل محل الفائدة المقيسة. الطب له أسماء لكلتا الظاهرتين (التجارب التفسيرية مقابل العملية؛ مشكلة الدواء الوهمي) وآليات للتعامل معهما.

طريقة الحساب

معدل القبول    = الاقتراحات المقبولة / الاقتراحات المعروضة
                 (تيليمتري GitHub ~30% كمتوسط؛ يتفاوت: SQL 45%، Python 35%، JS 28%)
معدل الاحتفاظ   = شفرة الذكاء الاصطناعي الباقية حتى الدمج / شفرة الذكاء الاصطناعي المقبولة (~88% مُسجَّلة)
التسريع        = (t_ضابط − t_ذكاء_اصطناعي) / t_ضابط  (من مقارنة ضابطة فقط)
دلتا الإنتاجية  = Δ طلبات السحب المدموجة/مطوّر/أسبوع (بيانات ميدانية GitHub/Accenture: +8.7%)

نموذج القيمة   = المطوّرون × الوقت المُوفَّر × المعدل المحمَّل × عامل الاستخدام
                 - كل حد يحتاج قياسًا محليًا؛ انظر التحليل التورنيدو في
                 sensitivity-analysis.md، حيث يهيمن الوقت المُوفَّر على
                 كل المعاملات الأخرى مجتمعة

مثال محلول

منظمة من 500 مطوّر تجرّب مساعدًا بضبط سليم (فرق متطابقة، 3 أشهر، مقاييس مُسجَّلة مسبقًا):

نتيجة التجربة: زمن دورة طلب السحب −18%؛ طلبات السحب المدموجة +6%؛
              معدل فشل التغيير بلا تغيير؛ الوقت المُوفَّر ذاتيًا المُصرَّح
              به 45 دقيقة/يوم؛ المقيس على مستوى المهمة ≈ 15 دقيقة/يوم

قيِّم الرقم المقيس: 500 × 0.25س × 220ي × 60£ × 0.6 عامل استخدام
                   ≈ 990,000£/سنة قدرة (غير محرِّرة للنقد)
التكلفة: 500 × 39£/شهر × 12 ≈ 234,000£/سنة
نسبة القدرة الصافية ≈ 4:1 - قابلة للتمويل، بثلث الدعوى المُصرَّح بها ذاتيًا فقط.

الفارق الثلاثي بين المُتصوَّر والمقيس هو نتيجة METR تعمل في الواقع؛ الميزنة على الإفادة الذاتية كانت ستضاعف بند الفائدة ثلاث مرات.

الصلة بهندسة البرمجيات

استيرادات اقتصاد الصحة لأي شخص يُقيِّم أدوات الذكاء الاصطناعي: نفِّذ تجارب عملية (قاعدة شفرتك، مهندسوك، تذاكر حقيقية - لا مهام عرض من المورّد)؛ عامل معدل القبول كمؤشر بديل، لا كنتيجة (فهو القيمة التنبؤية الإيجابية للاقتراحات من منظور المطوّر - قبول عالٍ مع احتفاظ منخفض هو فرط تشخيص)؛ ورافق كل مكسب في الإنتاجية بـفحص استقرار (تقرير DORA 2025: الذكاء الاصطناعي يرفع الإنتاجية ويضر بالاستقرار - تدخل بآثار جانبية يحتاج تحليل منفعة صافية، وفق مقاييس DORA)؛ وصنِّف الفائدة بصدق كقدرة (التوفير المحرِّر للنقد مقابل غير المحرِّر له).

المزالق

  • استيراد دراسات المورّدين: تطبيق أرقام التجارب العشوائية للمهام من الصفر على عمل قواعد الشفرة القديمة - الخطأ نفسه الذي كشفته دراسة METR.
  • الإفادة الذاتية كقياس: فارق التصوّر البالغ 20 نقطة نسبية هو أكبر تحيّز معروف في هذا الأدب.
  • تضخيم النشاط: مزيد من طلبات السحب ومزيد من الشفرة هما نشاط لا نتائج (SPACE)؛ رافقهما بإعادة العمل ومعدل فشل التغيير.
  • تجاهل منحنى التعلّم: قياسات الأسبوع الثاني تسجّل آثار الحداثة في أي اتجاه؛ قِس عند الحالة المستقرة (الأفق الزمني).

المصادر