مقاييس اقتصاديات الصحة

الموضوع 75 من 91· تسريع الذكاء الاصطناعي

إنتاجية المطوّرين باستخدام الذكاء الاصطناعي

مقاييس لما يحدثه دعم الذكاء الاصطناعي في البرمجة فعليًا لمخرجات الهندسة: معدلات قبول الاقتراحات، وتسريع الدراسات المضبوطة، وإنتاجية طلبات الدمج (PR)، واستبقاء الشفرة البرمجية. قاعدة الأدلة متناقضة فعليًا - ما يجعلها دراسة حالة مثالية للتمييز بين الفعالية النظرية والفعالية الفعلية الذي بُنيت اقتصاديات الصحة أصلًا للتعامل معه.

لماذا يهم هذا

أكثر دراستين مضبوطتين استشهادًا تشيران إلى اتجاهين متعاكسين:

  • دراسة Peng وآخرون 2023 (تجربة GitHub Copilot العشوائية المضبوطة): أنجز المطورون مهمة بناء خادم HTTP من الصفر أسرع بنسبة 55.8% باستخدام Copilot (ساعة و11 دقيقة مقابل ساعتين و41 دقيقة، بعدد مشاركين 95).
  • تجربة METR 2025 العشوائية المضبوطة: كان المطورون ذوو الخبرة العاملون على مستودعاتهم الناضجة الخاصة أبطأ بنسبة 19% باستخدام أدوات ذكاء اصطناعي من أوائل 2025 (16 مطورًا، 246 مهمة) - بينما اعتقدوا أنهم أسرع بنسبة 20%.

كلتا الدراستين جيدتان. والتناقض نفسه هو النتيجة: الفعالية النظرية في مهام البناء من الصفر لا تنتقل إلى الفعالية الفعلية في قواعد الشفرة الناضجة، والفائدة المُتصوَّرة لا يمكن أن تحل محل الفائدة المقاسة. للطب أسماء لكلتا الظاهرتين (التجارب التفسيرية مقابل التجارب العملية؛ ومشكلة الدواء الوهمي) وآليات للتعامل معهما.

الحساب

معدل القبول = الاقتراحات المقبولة / الاقتراحات المعروضة
              (متوسط تتبع GitHub ~30%؛ يتفاوت: SQL 45%، Python 35%، JS 28%)
معدل الاستبقاء = شفرة الذكاء الاصطناعي الباقية حتى الدمج / شفرة الذكاء الاصطناعي المقبولة (~88% مُبلَّغ عنها)
التسريع = (t_الضابط − t_الذكاء الاصطناعي) / t_الضابط  (من مقارنة مضبوطة فقط)
دلتا الإنتاجية = Δ طلبات الدمج المُدمجة/مطور/أسبوع (بيانات ميدانية من GitHub/Accenture: +8.7%)

نموذج القيمة = المطورون × الوقت الموفَّر × المعدل المحمَّل × عامل الاستخدام
              - كل حد يحتاج قياسًا محليًا؛ انظر مخطط الإعصار في
              sensitivity-analysis.md، حيث يهيمن الوقت الموفَّر على
              كل المعايير الأخرى مجتمعة

مثال محلول

منظمة تضم 500 مطور تجرّب مساعدًا مع ضابط تجريبي سليم (فرق متطابقة، 3 أشهر، مقاييس مسجَّلة مسبقًا):

نتيجة التجربة: زمن دورة طلب الدمج −18%؛ طلبات الدمج المُدمجة +6%؛ CFR دون تغيير؛
              الوقت الموفَّر المُبلَّغ ذاتيًا 45 دقيقة/يوم؛ المقاس على مستوى المهمة ≈ 15 دقيقة/يوم

قيِّم الرقم المقاس: 500 × 0.25 ساعة × 220 يومًا × 60£ × 0.6 عامل استخدام
                  ≈ 990,000£/سنة قدرة إضافية (غير محرِّرة للنقد)
التكلفة: 500 × 39£/شهر × 12 ≈ 234,000£/سنة
نسبة القدرة الصافية ≈ 4:1 - قابلة للتمويل، بثلث الادعاء المُبلَّغ ذاتيًا فقط.

الفجوة الثلاثية بين المُتصوَّر والمقاس هي نتيجة METR تعمل في الواقع؛ ولو وُضعت الميزانية على أساس التقرير الذاتي لتضاعفت الفائدة المُقدَّرة ثلاث مرات.

الصلة بهندسة البرمجيات

الدروس المستوردة من اقتصاديات الصحة لكل من يقيّم أدوات الذكاء الاصطناعي: أجرِ تجارب عملية (قاعدة شفرتك، مهندسوك، تذاكر حقيقية - لا مهام عرض توضيحي من المورّد)؛ وعامِل معدل القبول كمؤشر بديل لا كنتيجة (فهو القيمة التنبؤية الموجبة للاقتراحات من منظور المطور - القبول المرتفع مع الاستبقاء المنخفض هو فرط تشخيص)؛ وقرن كل مكسب في الإنتاجية بـفحص استقرار (تقرير DORA 2025: الذكاء الاصطناعي يرفع الإنتاجية ويضر بالاستقرار - أي تدخل له آثار جانبية يحتاج تحليل فائدة صافية، وفق مقاييس DORA)؛ وصنِّف الفائدة بصدق كقدرة إضافية (محرِّرة للنقد مقابل غير محرِّرة للنقد).

المزالق

  • نقل أرقام دراسات المورّدين كما هي: تطبيق أرقام تجارب عشوائية على مهام بناء من الصفر على عمل قواعد شفرة قديمة - وهو الخطأ عينه الذي كشفته دراسة METR.
  • التقرير الذاتي بوصفه قياسًا: فجوة الإدراك البالغة 20 نقطة مئوية هي أكبر تحيّز معروف في هذا الأدب البحثي.
  • تضخم النشاط: المزيد من طلبات الدمج والمزيد من الشفرة هو نشاط لا نتائج (SPACE)؛ اقرنه بإعادة العمل ومعدل فشل التغيير CFR.
  • تجاهل منحنى التعلّم: قياسات الأسبوع الثاني تلتقط آثار الحداثة في أي اتجاه؛ قِس عند حالة الاستقرار (الأفق الزمني).

المصادر