স্বাস্থ্য অর্থনীতি মেট্রিক্স

বিষয় 78 / 91· AI ত্বরণ

AI মান মেট্রিক

AI-উৎপাদিত আউটপুটের সঠিকতার মেট্রিক: ভূমি-সত্যের বিপরীতে নির্ভুলতা, বিশ্বস্ততা/ভিত্তিকতা (প্রদত্ত প্রসঙ্গ দ্বারা প্রতিটি দাবি সমর্থিত কিনা?), এবং হ্যালুসিনেশন হার (আউটপুটের কত অংশে অসমর্থিত বা মিথ্যা বিষয়বস্তু আছে?)। স্বাস্থ্য পরিবেশে এগুলি মান-সম্পর্কিত সৌজন্য নয় — এগুলি ক্ষতির হার।

কেন এটি গুরুত্বপূর্ণ

চিকিৎসা-ডোমেইন বেঞ্চমার্কগুলি চিকিৎসা কাজে ভিত্তিহীন LLM-এর জন্য 60%-এর বেশি হ্যালুসিনেশন হার পরিমাপ করেছে (কিছু ওপেন মডেলে >80%), যেখানে ভিত্তিকরণ, পুনরুদ্ধার এবং যুক্তি মোড হার নাটকীয়ভাবে কমায় (যেমন, GPT-5-এর চিন্তা মোড একটি বেঞ্চমার্কে HealthBench হ্যালুসিনেশন 3.6% → 1.6%-এ কমিয়েছে)। একটি ক্লিনিক্যাল ওয়ার্কফ্লোতে হ্যালুসিনেটেড ডোজ বা বানোয়াট উদ্ধৃতি হল ক্ষতির পথ সহ একটি মিথ্যা-তথ্য ঘটনা — এটি যেকোনো অর্থনৈতিক মডেলের ক্ষতির শাখায় থাকে, স্ক্রিনিং অর্থনীতি-এর মিথ্যা ইতিবাচকের মতো মূল্য নির্ধারিত: প্রতিটি নিম্নমুখী খরচ ট্রিগার করে (ভুল তথ্যের উপর কাজ করা, যাচাইকরণ শ্রম, চিকিৎসা-আইনি ঝুঁকি, ক্ষয়প্রাপ্ত বিশ্বাস)।

গণনা

হ্যালুসিনেশন হার = অসমর্থিত/মিথ্যা বিষয়বস্তুযুক্ত আউটপুট / মোট আউটপুট
  অভ্যন্তরীণ:  প্রদত্ত প্রসঙ্গের বিরোধিতা করে
  বহিঃস্থ:    প্রসঙ্গের বাইরে যাচাই-অযোগ্য বানোয়াট

বিশ্বস্ততা (RAGAS-শৈলী) = উত্তরে সমর্থিত দাবি / উত্তরে মোট দাবি
প্রসঙ্গ নির্ভুলতা/প্রত্যাহার = জেনারেটরকে খাওয়ানো পুনরুদ্ধার মান

অর্থনৈতিক ওজন — সব হ্যালুসিনেশনের খরচ সমান নয়:
  প্রত্যাশিত ক্ষতি খরচ = Σ ত্রুটির প্রকার জুড়ে (হার × P(অনাবিষ্কৃত) ×
                       P(কার্যকৃত) × কার্যকৃত-প্রতি-ত্রুটি খরচ)
  মানব-পর্যালোচনা স্তর P(অনাবিষ্কৃত) নির্ধারণ করে — এবং এর খরচও
  মডেলে থাকা উচিত (পর্যালোচক মিনিট × আয়তন)।

বিস্তারিত উদাহরণ

একটি AI ক্লিনিক্যাল-কোডিং সহায়ক বছরে 200,000 এপিসোড প্রক্রিয়া করে; নিরীক্ষা দেখায় 2% আউটপুটে একটি বস্তুগত কোডিং ত্রুটি আছে; মানব কোডাররা তার 85% ধরে ফেলে:

জমা পর্যন্ত পৌঁছানো ত্রুটি = 200,000 × 0.02 × 0.15 = 600/বছর
প্রতি অধরা ত্রুটির খরচ (ভুল-বিলিং গড় + নিরীক্ষা ঝুঁকি) ≈ £250
প্রত্যাশিত ত্রুটি খরচ         = 600 × 250 = £150,000/বছর
পর্যালোচনা খরচ (2 মিনিট × 200হাজার × £0.50/মিনিট)  = £200,000/বছর

উন্নতির কেস: পুনরুদ্ধার ভিত্তিকরণ ত্রুটি হার 0.8%-এ কমায়
→ অধরা ত্রুটি 240, ত্রুটি খরচ £60,000 (−£90হাজার/বছর); পর্যালোচনা
  সময়ও কমতে পারে (সম্পূর্ণ পর্যালোচনার পরিবর্তে নমুনায়ন) — মান
  বিনিয়োগ যেকোনো গতির দাবির আগে পরিশোধ করে।

সফটওয়্যার ইঞ্জিনিয়ারিং সংযোগ

মডেল মানকে পরীক্ষা কভারেজ অর্থনীতির মতো বিবেচনা করুন, স্বাস্থ্য-মানের শৃঙ্খলা সহ: মূল্যায়ন সেট আপনার ক্লিনিক্যাল ট্রায়াল — পূর্ব-নিবন্ধিত, আপনার কেস মিশ্রণের প্রতিনিধি, বিচ্যুতির বিরুদ্ধে সতেজ করা; বস্তুনিষ্ঠ কাজের জন্য ভিত্তিকরণ স্কেলকে হারায় (পুনরুদ্ধার + উদ্ধৃতি-প্রয়োজনীয় প্রম্পটিং সাধারণত সবচেয়ে সস্তা উপলব্ধ হ্যালুসিনেশন হ্রাস — এর টোকেন ওভারহেডের জন্য ইনফারেন্স ইউনিট অর্থনীতি দেখুন); এবং অপারেটিং পয়েন্ট প্রকাশ করুন: সংবেদনশীলতা/নির্দিষ্টতা-এর মতো, "97% বিশ্বস্ত" টাস্ক বিতরণ এবং সনাক্তকরণ প্রান্তসীমা ছাড়া কিছুই বোঝায় না। উপরের পর্যালোচনা-স্তর গণনা যেকোনো স্ক্রিনিং দ্বারের মতোই একই NNT/NNH গাণিতিক।

ঝুঁকি

  • বেঞ্চমার্ক-থেকে-উৎপাদন প্রতিস্থাপন: হ্যালুসিনেশন হার প্রচণ্ডভাবে টাস্ক-নির্ভর; আপনার কেস মিশ্রণই একমাত্র বেঞ্চমার্ক যা গণনা করে।
  • অ-খরচযুক্ত মানব পর্যালোচনা: "একজন চিকিৎসক সবকিছু পরীক্ষা করেন" সুবিধা অর্ধেক করে এবং খরচ রেখায় অবশ্যই উপস্থিত হতে হবে — এবং সতর্কতা ক্ষয় হয় (স্বয়ংক্রিয়তা আত্মতুষ্টি), তাই বিশ্বাসের সাথে P(অনাবিষ্কৃত) বাড়ে।
  • লেজ ঝুঁকি ক্ষতি বহন করার সময় গড় মান অপ্টিমাইজ করা: একটি বানোয়াট অ্যালার্জি নোট হাজারো বিশ্রী বাক্যাংশের চেয়ে বেশি ভারী; প্রত্যাশিত-ক্ষতি সূত্র অনুযায়ী পরিণতি দ্বারা ত্রুটি ওজন করুন।

উৎস