Метрики экономики здравоохранения

Тема 75 из 91· Ускорение с помощью ИИ

Продуктивность разработчиков с ИИ (AI Developer Productivity)

Метрики того, что ИИ-ассистирование в написании кода реально делает с инженерным результатом: доля принятых предложений, ускорение по данным контролируемых исследований, пропускная способность по PR и удержание кода. Доказательная база на удивление противоречива — что делает эту тему идеальным кейсом различия эффикас/эффективность, для работы с которым и была создана экономика здравоохранения.

Почему это важно

Два наиболее цитируемых контролируемых исследования указывают в противоположных направлениях:

  • Peng et al. 2023 (RCT по GitHub Copilot): разработчики выполняли задачу по созданию HTTP-сервера «с нуля» на 55,8% быстрее с Copilot (1ч11м против 2ч41м, n=95).
  • METR 2025 RCT: опытные разработчики открытого ПО, работающие над собственными зрелыми репозиториями, были на 19% медленнее с ИИ-инструментами начала 2025 года (16 разработчиков, 246 задач) — при этом они считали, что стали быстрее на 20%.

Оба исследования качественные. Само противоречие и есть находка: эффикас на «зелёных» задачах не переносится на эффективность в зрелой кодовой базе, а воспринимаемая польза не может подменить измеренную пользу. В медицине есть названия для обоих феноменов (объяснительные против прагматических испытаний; проблема плацебо) и механизмы для работы с ними.

Математика

Доля принятия     = принятые предложения / показанные предложения
                   (телеметрия GitHub ~30% в среднем; варьируется: SQL 45%, Python 35%, JS 28%)
Доля удержания    = ИИ-код, доживший до слияния / принятый ИИ-код (~88% по отчётам)
Ускорение         = (t_контроль − t_ИИ) / t_контроль  (ТОЛЬКО из контролируемого сравнения)
Дельта пропускной способности = Δ слитых PR/разработчик/неделя (полевые данные GitHub/Accenture: +8.7%)

Модель ценности  = разработчики × сэкономленное время × нагруженная ставка × коэффициент утилизации
                  — каждый член требует локального измерения; см. торнадо-диаграмму в
                  sensitivity-analysis.md, где сэкономленное время доминирует над
                  всеми остальными параметрами вместе взятыми

Практический пример

Организация с 500 разработчиками пилотирует ассистента с надлежащим контролем (сопоставленные команды, 3 месяца, заранее зарегистрированные метрики):

Результат пилота: время цикла PR −18%; слитые PR +6%; CFR не изменился;
              самоотчётное сэкономленное время 45 мин/день; измеренное на уровне задач ≈ 15 мин/день

Оцениваем ИЗМЕРЕННУЮ цифру: 500 × 0.25ч × 220дн × £60 × 0.6 утилизации
                          ≈ £990,000/год ёмкости (не высвобождающей денежные средства)
Затраты: 500 × £39/мес × 12 ≈ £234,000/год
Чистое соотношение ёмкости ≈ 4:1 — финансируемо, при трети от самоотчётного заявления.

Трёхкратный разрыв между восприятием и измерением — это находка METR в действии на практике; финансирование на основе самоотчёта утроило бы строку выгоды.

Связь с разработкой программного обеспечения

Импорты из экономики здравоохранения для всех, кто оценивает ИИ-инструментарий: проводите прагматичные испытания (ваша кодовая база, ваши инженеры, реальные задачи — а не демо-задачи вендора); относитесь к доле принятия как к суррогатному показателю, а не к исходу (это PPV предложений с точки зрения разработчика — высокая доля принятия при низком удержании есть гипердиагностика); сопровождайте каждый прирост пропускной способности проверкой стабильности (DORA 2025: ИИ повышает пропускную способность, но вредит стабильности — вмешательство с побочными эффектами требует анализа чистой выгоды, см. метрики DORA); и честно классифицируйте выгоду как ёмкость (capacity) (высвобождающие денежные средства и не высвобождающие денежные средства).

Подводные камни

  • Перенос вендорских исследований: цифры «зелёного поля» RCT применяются к работе над legacy-кодовой базой — именно та ошибка, которую вскрыло исследование METR.
  • Самоотчёт как измерение: разрыв восприятия в 20 процентных пунктов — крупнейшее известное смещение в этой литературе.
  • Инфляция активности: больше PR и больше кода — это Активность, а не исходы (SPACE); сопоставляйте с переделками и CFR.
  • Игнорирование кривой обучения: измерения на 2-й неделе фиксируют эффекты новизны в любом направлении; измеряйте в устойчивом состоянии (временной горизонт).

Источники