صحت اقتصادیات میٹرکس

موضوع 75 از 91· AI تیز رفتاری

AI کے ساتھ ڈویلپر کی پیداواریت

میٹرکس اس بات کے لیے کہ AI کوڈنگ مدد انجینئرنگ آؤٹ پٹ کے ساتھ اصل میں کیا کرتی ہے: تجاویز کی قبولیت کی شرح، کنٹرول شدہ مطالعے کی رفتار، PR کا بہاؤ، اور کوڈ کی برقراری۔ ثبوت کی بنیاد حقیقی معنوں میں متضاد ہے — جو اسے افادیت-بمقابلہ-تاثیر کے فرق میں ایک کامل کیس اسٹڈی بناتی ہے جسے سنبھالنے کے لیے صحت کی معیشت بنائی گئی تھی۔

یہ کیوں اہم ہے

دو سب سے زیادہ حوالہ دیے گئے کنٹرول شدہ مطالعے مخالف سمتوں کی طرف اشارہ کرتے ہیں:

  • Peng et al. 2023 (GitHub Copilot RCT): ڈویلپرز نے Copilot کے ساتھ ایک نئے HTTP سرور کام کو 55.8% تیزی سے مکمل کیا (1گ11م بمقابلہ 2گ41م، n=95)۔
  • METR 2025 RCT: تجربہ کار اوپن سورس ڈویلپرز جو اپنے خود کے پختہ ریپوزیٹریز پر کام کر رہے تھے وہ 2025 کے ابتدائی AI ٹولز کے ساتھ 19% سست تھے (16 ڈویلپرز، 246 کام) — جبکہ وہ یقین رکھتے تھے کہ وہ 20% تیز تھے۔

دونوں اچھے مطالعے ہیں۔ تضاد ہی نتیجہ ہے: نئے کام کی افادیت پختہ کوڈ بیس کی تاثیر میں منتقل نہیں ہوتی، اور محسوس شدہ فائدہ ناپے گئے فائدے کی جگہ نہیں لے سکتا۔ طب کے پاس دونوں مظاہر کے نام ہیں (وضاحتی بمقابلہ عملی آزمائشیں؛ پلیسیبو کا مسئلہ) اور انہیں سنبھالنے کے لیے طریقہ کار ہے۔

حساب

قبولیت کی شرح  = قبول شدہ تجاویز / دکھائی گئی تجاویز
                   (GitHub ٹیلی میٹری ~30% اوسط؛ مختلف ہوتی ہے: SQL 45%، Python 35%، JS 28%)
برقراری کی شرح = مرج تک زندہ رہنے والا AI کوڈ / قبول شدہ AI کوڈ (~88% رپورٹ شدہ)
رفتار           = (t_کنٹرول − t_AI) / t_کنٹرول  (صرف کنٹرول شدہ موازنے سے)
تھرو پٹ کا فرق  = Δ ضم شدہ PR/ڈویلپر/ہفتہ (GitHub/Accenture فیلڈ ڈیٹا: +8.7%)

قدر کا ماڈل    = ڈویلپرز × بچایا گیا وقت × وزنی شرح × استعمال کا عنصر
                  — ہر اصطلاح کو مقامی پیمائش کی ضرورت ہے؛ sensitivity-analysis.md
                  میں طوفان دیکھیں، جہاں بچایا گیا وقت دیگر تمام
                  پیرامیٹرز کو ملا کر غالب آتا ہے

حل شدہ مثال

500 ڈویلپرز کی ایک تنظیم مناسب کنٹرول کے ساتھ ایک اسسٹنٹ آزماتی ہے (ملتی جلتی ٹیمیں، 3 ماہ، پہلے سے رجسٹرڈ میٹرکس):

آزمائشی نتیجہ: PR سائیکل کا وقت −18%؛ ضم شدہ PR +6%؛ CFR غیر تبدیل شدہ؛
              خود بتائے گئے بچائے گئے وقت 45 منٹ/دن؛ ناپا گیا کام کی سطح ≈ 15 منٹ/دن

ناپے گئے نمبر کی قدر کریں: 500 × 0.25گ × 220د × £60 × 0.6 استعمال
                          ≈ £990,000/سال صلاحیت (کیش جاری نہ کرنے والی)
لاگت: 500 × £39/ماہ × 12 ≈ £234,000/سال
خالص صلاحیت کا تناسب ≈ 4:1 — قابل فنڈنگ، خود بتائے گئے دعوے کا ایک تہائی۔

محسوس شدہ اور ناپے گئے کے درمیان 3× فرق METR کی تلاش کا حقیقی دنیا میں چلنا ہے؛ خود بتائے گئے دعوے پر بجٹ بنانا فائدے کی لائن کو تین گنا کر دیتا۔

سافٹ ویئر انجینئرنگ سے تعلق

AI ٹولنگ کا جائزہ لینے والے کسی بھی شخص کے لیے صحت کی معیشت سے درآمدات: عملی آزمائشیں چلائیں (آپ کا کوڈ بیس، آپ کے انجینئرز، حقیقی ٹکٹس — وینڈر ڈیمو کام نہیں)؛ قبولیت کی شرح کو ایک متبادل کے طور پر برتیں، نتیجہ نہیں (یہ ڈویلپر کے نقطہ نظر سے تجاویز کا PPV ہے — کم برقراری کے ساتھ زیادہ قبولیت زیادہ تشخیص ہے)؛ ہر تھرو پٹ کے فائدے کو استحکام کی جانچ کے ساتھ جوڑیں (DORA 2025: AI تھرو پٹ بڑھاتا ہے، استحکام کو نقصان پہنچاتا ہے — ضمنی اثرات والی مداخلت کو خالص فائدے کے تجزیے کی ضرورت ہے، DORA میٹرکس کے مطابق)؛ اور فائدے کو ایمانداری سے صلاحیت کے طور پر درجہ بند کریں (کیش جاری کرنے بمقابلہ کیش جاری نہ کرنے)۔

نقصانات

  • وینڈر مطالعے کی پیوند کاری: نئے RCT نمبروں کو میراثی کوڈ بیس کے کام پر لاگو کرنا — بالکل وہی غلطی جسے METR کے مطالعے نے بے نقاب کیا۔
  • پیمائش کے طور پر خود رپورٹنگ: 20 فیصد پوائنٹ کا تاثر کا فرق اس ادب میں سب سے بڑا معلوم تعصب ہے۔
  • سرگرمی کی افراط زر: زیادہ PR اور زیادہ کوڈ سرگرمی ہیں، نتائج نہیں (SPACE)؛ دوبارہ کام اور CFR کے ساتھ جوڑیں۔
  • سیکھنے کے منحنی خط کو نظر انداز کرنا: ہفتہ 2 کی پیمائش دونوں سمتوں میں نئی پن کے اثرات پکڑتی ہے؛ مستحکم حالت میں پیمائش کریں (وقت کی حد)۔

ذرائع