স্বাস্থ্য অর্থনীতি মেট্রিক্স

বিষয় 79 / 91· AI ত্বরণ

ক্লিনিক্যাল AI মূল্যায়ন

একটি ক্লিনিক্যাল AI বা ডায়াগনস্টিক মডেল মূল্যায়নের জন্য মূল পরিসংখ্যান: সংবেদনশীলতা, নির্দিষ্টতা, AUROC, ভবিষ্যদ্বাণীমূলক মান, এবং স্ক্রিন করার জন্য প্রয়োজনীয় সংখ্যা। কেন্দ্রীয় অর্থনৈতিক শিক্ষা: একটি দুর্দান্ত AUROC খরচ-কার্যকর স্থাপনা তৈরি করে না — মূল্য অপারেটিং পয়েন্ট, প্রাদুর্ভাব এবং প্রতিটি ইতিবাচকের নিম্নমুখী কী ঘটে তার উপর নির্ভর করে।

কেন এটি গুরুত্বপূর্ণ

নিয়ন্ত্রকরা (FDA, MHRA) একটি লকড অপারেটিং পয়েন্টে ক্লিনিক্যাল AI অনুমোদন করে — একটি নির্দিষ্ট সংবেদনশীলতা/নির্দিষ্টতা জোড়া (যেমন, প্রথম FDA-অনুমোদিত স্বায়ত্তশাসিত ডায়াবেটিক-রেটিনোপ্যাথি সিস্টেম: এর মূল ট্রায়ালে সংবেদনশীলতা 87.2%, নির্দিষ্টতা 90.7%)। স্বাস্থ্য অর্থনীতিবিদরা তারপর সেই প্রশ্ন জিজ্ঞাসা করেন যার উত্তর নির্ভুলতা মেট্রিক দিতে পারে না: আপনার স্থাপনা জনসংখ্যার প্রাদুর্ভাবে, প্রতিটি সনাক্তকরণের খরচ কত, এবং এটির উপর কাজ করা কি মূল্যবান? রেটিনোপ্যাথি-স্ক্রিনিং AI-এর একটি অর্থনৈতিক মূল্যায়ন (npj Digital Medicine 2024) দেখিয়েছে যে রেফারেল খরচ গণনা করার পরে শুধুমাত্র উচ্চতর নির্ভুলতা খরচ-কার্যকারিতা নিশ্চিত করেনি।

গণনা

সংবেদনশীলতা = TP / (TP + FN)        — প্রকৃত ইতিবাচকের, ধরা পড়া অংশ
নির্দিষ্টতা   = TN / (TN + FP)        — প্রকৃত নেতিবাচকের, ছাড়পত্রপ্রাপ্ত অংশ
AUROC        = P(মডেল একটি র‍্যান্ডম ইতিবাচককে একটি র‍্যান্ডম নেতিবাচকের উপরে র‍্যাংক করে)
              0.5 সুযোগ … 1.0 নিখুঁত; প্রান্তসীমা-স্বাধীন — এবং তাই
              স্থাপনা-সিদ্ধান্ত-অপর্যাপ্ত

PPV = TP / (TP + FP)   ← প্রাদুর্ভাব-নির্ভর (বেইজ); বিরল হলে ভেঙে পড়ে
NPV = TN / (TN + FN)

NNS  ≈ 1 / (প্রাদুর্ভাব × সংবেদনশীলতা)       — প্রতি প্রকৃত কেস পাওয়া গেলে স্ক্রিন করা
প্রতি প্রকৃত কেস খরচ = কর্মসূচি খরচ / TP      — অর্থনৈতিক নিম্নরেখা

বিস্তারিত উদাহরণ

একই মডেল, দুটি সেটিং — সংবেদনশীলতা 90%, নির্দিষ্টতা 93%:

বিশেষজ্ঞ ক্লিনিক (প্রাদুর্ভাব 20%):
  PPV = (0.9×0.2)/(0.9×0.2 + 0.07×0.8) = 0.18/0.236 ≈ 76%  → 4টির মধ্যে 3টি সতর্কতা বাস্তব

প্রাথমিক যত্ন (প্রাদুর্ভাব 1%):
  PPV = (0.9×0.01)/(0.9×0.01 + 0.07×0.99) = 0.009/0.0783 ≈ 11.5%
  → 9টির মধ্যে 8টি সতর্কতা মিথ্যা; প্রতিটি £350-এ কাজ:
  প্রতি প্রকৃত কেস খরচ = (0.009 + 0.0693) × 350 / 0.009 ≈ £3,045 প্রতি পাওয়া কেসে

অভিন্ন মডেল, আমূল ভিন্ন অর্থনীতি — এই কারণেই সাইট-নির্দিষ্ট মূল্যায়ন একটি নিয়ন্ত্রক থিম এবং কেন "আমাদের মডেলের 0.95 AUROC আছে" একটি অর্থনৈতিক কেসের শুরু, শেষ নয়। সম্পূর্ণ কর্মসূচি গণনার জন্য দেখুন স্ক্রিনিং অর্থনীতি।

সফটওয়্যার ইঞ্জিনিয়ারিং সংযোগ

ক্লিনিক্যাল AI নির্মাণ বা ক্রয়কারী ইঞ্জিনিয়ারদের জন্য: শুধুমাত্র ROC বক্ররেখা নয়, স্থাপনা প্রাদুর্ভাবে বিভ্রান্তি ম্যাট্রিক্স প্রেরণ করুন; প্রান্তসীমাকে একটি অর্থনৈতিক সিদ্ধান্ত হতে দিন — সংবেদনশীলতা/নির্দিষ্টতা বাণিজ্যকে প্রত্যাশিত খরচ ন্যূনতম করা উচিত (অনুপস্থিত কেস × অনুপস্থিতি খরচ বনাম মিথ্যা অ্যালার্ম × কাজ খরচ), একটি বেঞ্চমার্ক পরিসংখ্যান সর্বাধিক করা নয়; এবং আপনার নিজের টুলিংয়ে একই গণিত চিনুন — সতর্কতা সিস্টেম, অস্বাভাবিকতা শনাক্তকারী এবং নিরাপত্তা স্ক্যানারগুলি কম-প্রাদুর্ভাব ঘটনা স্ট্রিমের উপর ডায়াগনস্টিক পরীক্ষা, সতর্কতা ক্লান্তি NNH হিসেবে। মডেল আপডেট যা অপারেটিং পয়েন্ট স্থানান্তরিত করে অর্থনীতি পুনরায় খোলে (এবং নিয়ন্ত্রক ছাড়পত্র — দেখুন AI নিয়ন্ত্রক মূল্যায়ন)।

ঝুঁকি

  • AUROC শপিং: মডেলগুলি এক প্রান্তসীমায় চলবে যখন AUROC-এ তুলনা করা — অপারেটিং পয়েন্টে তুলনা করুন।
  • বাস্তব-বিশ্ব স্থাপনার জন্য উদ্ধৃত ট্রায়াল-প্রাদুর্ভাব PPV — ক্লাসিক; সর্বদা স্থানীয় প্রাদুর্ভাবে পুনর্গণনা করুন।
  • বর্ণালী পক্ষপাত: সুস্পষ্ট কেস বনাম সুস্থ নিয়ন্ত্রণে যাচাইকৃত মডেলগুলি অনুশীলনে প্রাধান্যকারী অস্পষ্ট মধ্যম অংশে অতি-সম্পাদন করে।
  • কোনো নিম্নমুখী পথ খরচ নির্ধারণ নেই: প্রতিটি ইতিবাচক একটি কাজ ট্রিগার করে; একটি মডেল হল সমগ্র পথের অর্থনীতির উপর একটি হস্তক্ষেপ।

উৎস