AI গুণমান সূচক

AI-উৎপাদিত আউটপুটের সঠিকতার জন্য সূচক: ভিত্তি সত্যের বিরুদ্ধে নির্ভুলতা, বিশ্বস্ততা/ভিত্তিকরণ, এবং হ্যালুসিনেশন হার। স্বাস্থ্য পরিবেশে এগুলো গুণমানের সূক্ষ্মতা নয় — এগুলো ক্ষতির হার।

কেন এটি গুরুত্বপূর্ণ

মেডিকেল-ডোমেইন বেঞ্চমার্ক ভিত্তিহীন LLM-এর জন্য মেডিকেল টাস্কে ৬০%-এর উপরে হ্যালুসিনেশন হার পরিমাপ করেছে।

গণিত

হ্যালুসিনেশন হার = অসমর্থিত/মিথ্যা বিষয়বস্তুসহ আউটপুট / মোট আউটপুট

প্রত্যাশিত ক্ষতি ব্যয় = Σ ত্রুটি প্রকার জুড়ে (হার × P(অসনাক্ত) ×
                       P(কার্যকর হয়েছে) × কার্যকর-হওয়া-ত্রুটি প্রতি ব্যয়)

সমাধানকৃত উদাহরণ

একটি AI ক্লিনিক্যাল-কোডিং সহায়ক বছরে ২০০,০০০ পর্ব প্রক্রিয়া করে; নিরীক্ষা দেখায় ২% আউটপুটে একটি বস্তুগত কোডিং ত্রুটি আছে; মানব কোডাররা তার ৮৫% ধরে ফেলে:

জমাদানে পৌঁছানো ত্রুটি = 200,000 × 0.02 × 0.15 = বছরে 600
প্রতি অসনাক্ত ত্রুটি ব্যয় ≈ £250
প্রত্যাশিত ত্রুটি ব্যয় = 600 × 250 = বছরে £150,000

সফটওয়্যার প্রকৌশলের সাথে সংযোগ

মডেল গুণমানকে স্বাস্থ্য-গ্রেড শৃঙ্খলাসহ টেস্ট কভারেজ অর্থনীতির মতো বিবেচনা করুন: মূল্যায়ন সেট আপনার ক্লিনিক্যাল ট্রায়াল।

ঝুঁকিপূর্ণ দিক

• বেঞ্চমার্ক-থেকে-প্রোডাকশন প্রতিস্থাপন: হ্যালুসিনেশন হার প্রচণ্ডভাবে টাস্ক-নির্ভর।
• ব্যয়হীন মানব পর্যালোচনা: "একজন চিকিৎসক সবকিছু পরীক্ষা করে" সুবিধা অর্ধেক করে।

উৎস

• Hallucination evaluation methods and metrics.
• Medical LLM hallucination statistics.