医療経済指標

トピック 75 / 91· AI加速

AI開発者生産性

AIによるコーディング支援がエンジニアリングのアウトプットに実際に何をするかについてのメトリクス:提案の受け入れ率、対照研究における高速化、PRのスループット、コードの定着率。証拠の基盤は本当に矛盾しており — これは、医療経済学が扱うために構築された有効性対効果の区別の完璧なケーススタディにします。

なぜ重要か

最も引用される2つの対照研究は反対方向を指しています:

  • Pengら 2023年(GitHub Copilot RCT):開発者は、グリーンフィールドのHTTPサーバータスクを、Copilotありで55.8%速く完了しました(1時間11分対2時間41分、n=95)。
  • METR 2025年RCT:自分自身の成熟したリポジトリで作業する経験豊富なオープンソース開発者は、2025年初頭のAIツールで19%遅くなりました(16人の開発者、246タスク) — 自分は20%速いと信じているにもかかわらずです。

どちらも優れた研究です。この矛盾こそが発見です:グリーンフィールドタスクの有効性は成熟したコードベースの効果性には転用されず、知覚された便益は測定された便益の代わりにはなりません。医療にはこの両方の現象に名前があり(説明的試験対実用的試験;プラセボ問題)、それらを扱う仕組みがあります。

数式

受け入れ率     = 受け入れられた提案数 / 表示された提案数
              (GitHubのテレメトリでは平均約30%;変動あり:SQL 45%、Python 35%、JS 28%)
定着率         = マージまで生き残ったAIコード / 受け入れられたAIコード(約88%と報告)
高速化率       = (t_対照 − t_AI) / t_対照  (対照比較「のみ」から)
スループットの差 = Δ開発者1人あたり週あたりマージされたPR数(GitHub/Accentureの実地データ:+8.7%)

価値モデル    = 開発者数 × 節約時間 × 全負担率 × 稼働率係数
             — すべての項に地域での測定が必要です;節約時間が他のすべての
             パラメータの合計を支配するトルネードについては感度分析を参照してください

計算例

500人の開発者組織が、適切な対照群(マッチさせたチーム、3か月、事前登録された指標)を用いてアシスタントをパイロット試験します:

パイロット試験の結果:PRサイクルタイム −18%;マージされたPR +6%;CFRは変化なし;
                  自己申告の節約時間45分/日;測定されたタスクレベルは約15分/日

「測定された」数値を評価する:500 × 0.25時間 × 220日 × £60 × 稼働率0.6
                          ≈ 年間£990,000の容量(非現金化)
費用:500 × £39/月 × 12 ≈ 年間£234,000
正味容量比 ≈ 4:1 — 資金提供可能、自己申告の主張の3分の1で。

知覚と測定の間の3倍のギャップは、METRの発見が実地で作用しているものです;自己申告に基づいて予算を組んでいたら、便益項目を3倍に見積もっていたでしょう。

ソフトウェア工学との関連

AIツールを評価する人にとっての医療経済学からの輸入品:実用的な試験を実施すること(あなたのコードベース、あなたのエンジニア、実際のチケット — ベンダーのデモタスクではない);受け入れ率をアウトカムではなく代理指標として扱うこと(それは開発者の視点から見た提案のPPVであり、低い定着率を伴う高い受け入れ率は過剰診断です);あらゆるスループットの獲得を安定性チェックと組み合わせること(DORA 2025:AIはスループットを上げるが安定性を損なう — 副作用を伴う介入は、DORAメトリクスに従って正味便益分析を必要とします);そして便益を正直に容量として分類すること(現金化可能な節約と非現金化節約)。

落とし穴

  • ベンダー研究の移植:グリーンフィールドRCTの数値をレガシーコードベースの作業に適用すること — これはまさにMETR研究が暴露した誤りです。
  • 測定としての自己申告:20パーセントポイントの知覚のギャップは、この文献における既知の最大のバイアスです。
  • 活動の水増し:より多くのPRとより多くのコードは活動であり、アウトカムではありません(SPACE);手戻りとCFRと組み合わせてください。
  • 学習曲線を無視すること:2週目の測定はどちらの方向にも新奇性効果を捉えます;定常状態で測定してください(評価期間を参照)。

出典