보건경제학 지표

주제 10 / 91· 경제적 사고의 기초

표본정보의 기대가치(EVSI)

EVSI는 특정하게 제안된 연구, 즉 주어진 설계와 주어진 표본 크기를 실행하기 전에 평가한 가치입니다. 모든 불확실성의 완전한 제거를 가격으로 매기는 EVPI와 대조됩니다. EVSI는 연구비 지원 기관이 실제로 마주하는 질문에 답합니다. "이 규모의 이 시험은 그 비용만큼의 가치가 있는가?"

왜 중요한가

EVPI는 어떤 연구든 가질 수 있는 가치의 상한을 알려 주지만, 눈앞의 시험이 기준을 넘는지는 결코 알려 주지 않습니다. 환자 50명의 파일럿과 환자 500명의 확정적 시험 중에서 선택하는 국가 연구비 지원 기관은 전지(全知)의 가치만이 아니라 각각의 구체적 설계가 얼마의 가치를 지니는지 알아야 합니다. EVSI는 그 숫자를 제공하며, 표본 크기에 따라 달라지므로 지원 기관은 짐작하는 대신 기대 순편익을 극대화하는 표본 크기를 찾을 수 있습니다.

이것이 EVSI가 언제나 EVPI 이하인 이유이기도 합니다. 유한한 표본은 불확실성을 부분적으로만 해소할 수 있고, 완전정보보다 가치가 커 보이는 연구는 실제 결과가 아니라 계산이 잘못되었다는 신호입니다.

수식

일반형:
EVSI(n) = E_데이터[ max_d E_θ|데이터[NB(d,θ)] ]  −  max_d E_θ[NB(d,θ)]
  (중첩 기댓값: 바깥쪽은 가능한 연구 결과에 대해, 안쪽은 그 결과를 본 뒤
  θ에 대한 사후 믿음에 대해 — 보통 확률적 민감도 분석의 표본 추출에 대한
  중첩 몬테카를로/베이즈 갱신으로 추정)

닫힌 형태의 정규 근사(불확실한 모수 하나, 켤레 정규-정규 모델 —
표준적인 지름길이지만 모든 모델에서 정확하지는 않음):
EVSI(n) = EVPI × n / (n + n0)

n  = 제안된 연구의 표본 크기
n0 = "사전분포 등가 표본 크기" — 현재의 사전분포와 같은 정보를 담을 가상
     표본의 크기로, 데이터 분산 대 사전 분산의 비로부터 도출
ENBS(n) = EVSI(n) − 비용(n)
모집단 EVSI = 의사결정당 EVSI × 영향을 받는 의사결정 수

일반형이 중첩 기댓값인 이유는 연구의 미래 결과 자체가 불확실하기 때문입니다. 연구가 만들어 낼 수 있는 모든 데이터셋에 걸쳐 평균을 내야 하고, 각각에 대해 갱신된(사후) 믿음 아래서 최선의 의사결정을 다시 계산해야 합니다. 닫힌 형태의 정규 근사는 그 계산 비용을 하나의 비율과 맞바꾼 것으로, 불확실한 모수와 데이터가 (대략) 정규분포이고 켤레일 때 유효합니다. 이는 편의일 뿐 보편적인 법칙이 아닙니다. 그 가정이 성립하지 않을 때의 범용 방법은 완전한 중첩 몬테카를로입니다. EVSI를 보통 추정하는 원천이 되는 PSA 표본 추출에 대해서는 확률적 민감도 분석을 참고하세요.

계산 예시

EVPI의 계산 예시, 즉 임상의 5,000명에게 AI 문서화 보조 도구를 도입하는 사례에서 EVPI가 £1.2M으로 나온 것을 이어서, 같은 EVPI를 여기서는 정수 파운드로 표현합니다. EVPI = £1,200,000.

임상의 50명을 대상으로 한 파일럿 연구가 제안되었습니다. 사전 믿음의 분산과 파일럿의 측정 정밀도의 비로부터, 사전분포 등가 표본 크기는 n0 = 75가 됩니다.

EVSI(50) = 1,200,000 × 50 / (50 + 75)
         = 1,200,000 × 50 / 125
         = 1,200,000 × 0.4
         = £480,000

파일럿 비용은 £120,000입니다.

ENBS = EVSI − 비용 = 480,000 − 120,000 = £360,000

분명한 양의 ENBS입니다. 파일럿에 자금을 지원하세요. 같은 조달 결정이 비슷한 지역 트러스트 3곳에서 반복된다면 파일럿의 가치는 확대됩니다.

모집단 EVSI = 480,000 × 3 = £1,440,000

소프트웨어 공학과의 연관성

EVSI는 파일럿이나 A/B 테스트를 할지 말지만이 아니라 그것을 얼마나 크게 해야 하는지를 고르는 경제학입니다.

  • 투자 결정으로서의 표본 크기. 사용자 50명의 베타와 5,000명으로의 단계적 롤아웃은 서로 다른 EVSI와 비용을 가진 서로 다른 "연구"입니다. EVSI는 "데이터는 많을수록 좋다"는 기본값으로 돌아가는 대신 같은 기준에서 둘을 비교하게 해 줍니다.
  • 의뢰의 판단 기준은 EVSI 단독이 아니라 ENBS입니다. EVSI가 높아도 비용이 그 대부분을 잡아먹는 연구는 약한 제안입니다. 의사결정 규칙은 표본 조사의 기대 순편익이며, 비즈니스 케이스가 편익만 보고하지 않고 편익에서 비용을 차감하는 것과 같습니다.
  • 수확 체감이 명시적입니다. EVSI(n)은 n/(n+n0)로 증가하므로, 파일럿 규모를 두 배로 늘려도 가치가 두 배가 되지는 않습니다. 더 큰 실험일수록 한계 정보 가치가 줄어든다는 엔지니어의 직관을 형식화한 것입니다.

함정

  • 정규 근사를 가정 밖에서 사용하기. 이는 대략 켤레인 단일 모수의 불확실성에만 성립합니다. 진정으로 비선형이거나 다중 모수인 의사결정 모델에는 이 지름길이 아니라 완전한 중첩 몬테카를로가 필요합니다.
  • EVSI를 현금 비용과만 비교하기. EVSI는 연구 자체의 의사결정 지연 비용(지연 비용 참고)을 포함한 연구의 전체 비용과 견주어야 하며, 연구의 청구서만으로는 안 됩니다.
  • EVSI > EVPI를 실제 발견으로 취급하기. EVSI는 구조상 EVPI를 넘을 수 없습니다. 그런 결과를 내는 계산은 발견이 아니라 모델 버그입니다.

출처

  • Ades AE, Lu G, Claxton K. "Expected value of sample information calculations in medical decision modeling." Medical Decision Making 2004;24(2):207-27.
  • Willan AR, Pinto EM. "The value of information and optimal clinical trial design." Statistics in Medicine 2005;24(12):1791-806.
  • Strong M, Oakley JE. "When is a model-based value of information analysis feasible?" Medical Decision Making 2014.