医療経済指標

トピック 78 / 91· AI加速

AI品質メトリクス

AIが生成する出力の正確性のためのメトリクス:正解に対する精度、忠実性/根拠性(すべての主張は提供されたコンテキストによって裏付けられているか?)、そして幻覚率(出力のうち、裏付けのないあるいは虚偽の内容を含む割合)。医療の現場では、これらは単なる品質の細かい話ではなく — 害の発生率です。

なぜ重要か

医療ドメインのベンチマークは、根拠のないLLMについて医療タスクで60%を超える幻覚率を測定しています(一部のオープンモデルでは80%超)、一方で根拠づけ、検索、推論モードは劇的にその率を削減します(例えば、GPT-5の思考モードは、あるベンチマークでHealthBenchの幻覚を3.6%→1.6%に削減しました)。臨床ワークフローにおける幻覚の用量や捏造された引用は、害の経路を持つ虚偽情報の出来事です — それは、スクリーニングの経済学の偽陽性と同じように値付けされ、経済モデルの害の側に属します:それぞれが下流の費用を引き起こします(誤った情報に基づいて行動すること、検証の労力、医療法的リスク、蝕まれた信頼)。

数式

幻覚率 = 裏付けのない/虚偽の内容を含む出力数 / 総出力数
  内因性:提供されたコンテキストと矛盾する
  外因性:コンテキストを超えた検証不可能な捏造

忠実性(RAGAS式) = 回答中の裏付けられた主張 / 回答中の総主張数
コンテキストの精度/再現率 = 生成器に供給される検索の質

経済的な重み付け — すべての幻覚が同じように費用がかかるわけではない:
  期待される害の費用 = Σ エラー種別にわたって(率 × P(未検出) ×
                       P(行動に移された) × 行動に移されたエラー1件あたりの費用)
  P(未検出)は人間によるレビュー層が決めます — そしてその費用もモデルに
  含める必要があります(レビュアーの分数 × 量)。

計算例

あるAI臨床コーディングアシスタントは年間200,000エピソードを処理します;監査によると、出力の2%が重大なコーディングエラーを含み、人間のコーダーはそのうち85%を捕まえます:

提出に到達するエラー = 200,000 × 0.02 × 0.15 = 年間600件
未捕捉のエラー1件あたりの費用(誤請求の平均+監査リスク) ≈ £250
期待されるエラー費用       = 600 × 250 = 年間£150,000
レビュー費用(2分 × 200,000 × £0.50/分) = 年間£200,000

改善のケース:検索による根拠づけがエラー率を0.8%に削減
→ 未捕捉のエラー240件、エラー費用£60,000(−£9万/年);レビュー時間も
  (完全レビューの代わりにサンプリングに)減少できる — この品質への投資は、
  速度の主張の前に元が取れます。

ソフトウェア工学との関連

モデルの品質を、医療グレードの規律をもってテストカバレッジの経済学のように扱ってください:評価セットはあなたの臨床試験です — 事前登録され、あなたの症例構成を代表し、ドリフトに対して更新される;事実タスクでは根拠づけが規模に勝ります(検索+引用必須のプロンプト設計は、通常利用可能な最も安価な幻覚削減手段です — そのトークンのオーバーヘッドについては推論単位経済学を参照);そして運用ポイントを公表すること:感度/特異度と同じように、「97%忠実」はタスクの分布と検出閾値なしには無意味です。上記のレビュー層の計算は、あらゆるスクリーニングゲートと同じNNT/NNHの計算です。

落とし穴

  • ベンチマークから本番への移植:幻覚率はタスクに大きく依存します;あなたの症例構成だけが唯一意味のあるベンチマークです。
  • 費用計算されていない人間によるレビュー:「臨床医がすべてをチェックする」は便益を半分にし、費用の項目に現れなければなりません — そして警戒は衰えます(自動化への慣れ)、したがって信頼が高まるにつれてP(未検出)は上昇します。
  • 裾のリスクが害を運ぶ一方で平均品質を最適化すること:1つの捏造されたアレルギーのメモは、1,000のぎこちない言い回しよりも重大です;期待される害の公式に従って、結果によってエラーを重み付けしてください。

出典