Produktivitas Pengembang AI

Metrik untuk apa yang sebenarnya dilakukan bantuan pengkodean AI terhadap output rekayasa: tingkat penerimaan saran, peningkatan kecepatan studi terkontrol.

Mengapa ini penting

Dua studi terkontrol yang paling banyak dikutip menunjuk ke arah yang berlawanan:

• Peng et al. 2023 (GitHub Copilot RCT): pengembang menyelesaikan tugas greenfield 55,8% lebih cepat.
• METR 2025 RCT: pengembang open-source berpengalaman 19% lebih lambat pada repositori matang mereka sendiri.

Matematika

Tingkat penerimaan = saran yang diterima / saran yang ditampilkan

Contoh yang diselesaikan

Organisasi dengan 500 pengembang menguji asisten dengan kontrol yang tepat: nilai ≈ £990.000/tahun kapasitas.

Hubungan dengan rekayasa perangkat lunak

Impor ekonomi kesehatan bagi mereka yang mengevaluasi tooling AI: jalankan uji coba pragmatis.

Jebakan

• Substitusi studi vendor.

Sumber

• Peng S, et al.
• METR, "Measuring the Impact of Early-2025 AI."