स्वास्थ्य अर्थशास्त्र मीट्रिक्स

विषय 75 / 91· AI त्वरण

AI डेवलपर उत्पादकता

AI कोडिंग सहायता इंजीनियरिंग उत्पादन पर वास्तव में क्या प्रभाव डालती है, इसके मापदंड: सुझाव स्वीकृति दरें, नियंत्रित-अध्ययन गति-वृद्धि, PR थ्रूपुट, और कोड अवधारण। प्रमाण आधार वास्तव में विरोधाभासी है — जो इसे प्रभावकारिता-बनाम-प्रभावशीलता के भेद का एक आदर्श केस स्टडी बनाता है, जिसे संभालने के लिए स्वास्थ्य अर्थशास्त्र का निर्माण हुआ था।

यह क्यों महत्वपूर्ण है

सबसे अधिक उद्धृत दो नियंत्रित अध्ययन विपरीत दिशाओं की ओर इशारा करते हैं:

  • Peng et al. 2023 (GitHub Copilot RCT): डेवलपर्स ने एक ग्रीनफ़ील्ड HTTP-सर्वर कार्य Copilot के साथ 55.8% तेज़ी से पूरा किया (1घं11मि बनाम 2घं41मि, n=95)।
  • METR 2025 RCT: अनुभवी ओपन-सोर्स डेवलपर्स जो अपने स्वयं के परिपक्व रिपॉज़िटरी पर काम कर रहे थे, 2025 की शुरुआती AI टूल्स के साथ 19% धीमे हो गए (16 डेवलपर, 246 कार्य) — जबकि वे स्वयं मानते थे कि वे 20% तेज़ हैं।

दोनों ही अच्छे अध्ययन हैं। यह विरोधाभास ही निष्कर्ष है: ग्रीनफ़ील्ड-कार्य प्रभावकारिता परिपक्व-कोडबेस प्रभावशीलता में स्थानांतरित नहीं होती, और अनुभूत लाभ मापे गए लाभ का विकल्प नहीं बन सकता। चिकित्सा में इन दोनों परिघटनाओं के नाम हैं (व्याख्यात्मक बनाम व्यावहारिक परीक्षण; प्लेसीबो समस्या) और इन्हें संभालने की तंत्र-व्यवस्था भी है।

गणना विधि

स्वीकृति दर    = स्वीकृत सुझाव / प्रस्तुत सुझाव
                (GitHub टेलीमेट्री औसत लगभग 30%; भिन्न-भिन्न: SQL 45%, Python 35%, JS 28%)
अवधारण दर      = मर्ज तक पहुँचने वाला AI कोड / स्वीकृत AI कोड (रिपोर्ट किया गया लगभग 88%)
गति-वृद्धि     = (t_नियंत्रण − t_AI) / t_नियंत्रण  (केवल नियंत्रित तुलना से)
थ्रूपुट अंतर   = Δ मर्ज किए गए PR/डेवलपर/सप्ताह (GitHub/Accenture क्षेत्र आँकड़े: +8.7%)

मूल्य मॉडल    = डेवलपर संख्या × बचा समय × भारित दर × उपयोग-गुणांक
               — प्रत्येक पद के लिए स्थानीय माप आवश्यक है; देखें
               sensitivity-analysis.md में टॉर्नेडो चित्र, जहाँ "बचा समय"
               अन्य सभी मापदंडों के योग से भी अधिक प्रभावी है

व्यावहारिक उदाहरण

500 डेवलपर्स का एक संगठन उचित नियंत्रण (मिलान किए गए दल, 3 माह, पूर्व-पंजीकृत मापदंड) के साथ एक सहायक का परीक्षण करता है:

परीक्षण परिणाम: PR चक्र समय −18%; मर्ज किए गए PR +6%; CFR अपरिवर्तित;
                स्व-रिपोर्ट किया गया बचत समय 45 मिनट/दिन; कार्य-स्तरीय मापा गया ≈ 15 मिनट/दिन

मापे गए आँकड़े का मूल्यांकन करें: 500 × 0.25घं × 220दिन × £60 × 0.6 उपयोग-गुणांक
                                ≈ £990,000/वर्ष क्षमता (गैर-नकद-मुक्तिकारी)
लागत: 500 × £39/माह × 12 ≈ £234,000/वर्ष
शुद्ध क्षमता अनुपात ≈ 4:1 — वित्तपोषण योग्य, स्व-रिपोर्ट किए गए दावे के केवल एक-तिहाई पर।

अनुभूत और मापे गए के बीच 3× का अंतर METR के निष्कर्ष का वास्तविक-जीवन प्रदर्शन है; स्व-रिपोर्ट पर बजट बनाना लाभ रेखा को तिगुना कर देता।

सॉफ़्टवेयर इंजीनियरिंग से संबंध

AI टूलिंग का मूल्यांकन करने वाले किसी भी व्यक्ति के लिए स्वास्थ्य-अर्थशास्त्र से आयातित सिद्धांत: व्यावहारिक परीक्षण चलाएँ (आपका कोडबेस, आपके इंजीनियर, वास्तविक टिकट — विक्रेता डेमो कार्य नहीं); स्वीकृति दर को एक प्रॉक्सी मानें, परिणाम नहीं (डेवलपर के दृष्टिकोण से यह सुझावों का PPV है — उच्च स्वीकृति के साथ कम अवधारण अति-निदान के समान है); हर थ्रूपुट लाभ को स्थिरता जाँच के साथ जोड़ें (DORA 2025: AI थ्रूपुट बढ़ाता है, स्थिरता को नुकसान पहुँचाता है — दुष्प्रभाव वाले किसी भी हस्तक्षेप के लिए शुद्ध-लाभ विश्लेषण आवश्यक है, देखें DORA मापदंड); और लाभ को ईमानदारी से क्षमता के रूप में वर्गीकृत करें (नकद-मुक्तिकारी बनाम गैर-नकद-मुक्तिकारी)।

जोखिम बिंदु

  • विक्रेता-अध्ययन प्रतिरोपण: ग्रीनफ़ील्ड RCT आँकड़ों को विरासती-कोडबेस कार्य पर लागू करना — ठीक वही त्रुटि जो METR अध्ययन ने उजागर की।
  • स्व-रिपोर्ट को माप मानना: 20-प्रतिशत-बिंदु की अनुभूति खाई इस साहित्य में ज्ञात सबसे बड़ा पूर्वाग्रह है।
  • गतिविधि मुद्रास्फीति: अधिक PR और अधिक कोड "गतिविधि" हैं, "परिणाम" नहीं (SPACE); पुनःकार्य और CFR के साथ जोड़ें।
  • सीखने की अवस्था की उपेक्षा: सप्ताह-2 के माप किसी भी दिशा में नवीनता प्रभाव को दर्शाते हैं; स्थिर-अवस्था में मापें (समय-सीमा)।

स्रोत