ตัวชี้วัดคุณภาพปัญญาประดิษฐ์

ตัวชี้วัดคุณภาพปัญญาประดิษฐ์วัดความแม่นยำ ความน่าเชื่อถือ และความปลอดภัยของผลลัพธ์จากระบบปัญญาประดิษฐ์ ซึ่งมีความสำคัญอย่างยิ่งก่อนการผสานรวมเข้ากับกระบวนการทางคลินิกหรือธุรกิจ

ทำไมจึงสำคัญ

โมเดลปัญญาประดิษฐ์สามารถดูน่าเชื่อถือได้ในขณะที่ผิดพลาดในข้อเท็จจริง ("การประสาทหลอน") — ตัวชี้วัดคุณภาพรับผิดชอบต่อความน่าเชื่อถือ ไม่ใช่แค่ความลื่นไหลของภาษา

คณิตศาสตร์

อัตราความแม่นยำ = จำนวนผลลัพธ์ที่ถูกต้อง / จำนวนผลลัพธ์ที่ประเมินทั้งหมด × 100%

นอกจากนี้ยังมักติดตามอัตราการประสาทหลอน อัตราความสอดคล้อง และข้อผิดพลาดในการปรับเทียบแยกต่างหาก

ตัวอย่างที่คำนวณแล้ว

ผู้ช่วยเอกสารทางคลินิกที่ได้รับการประเมินใน 1,000 กรณี ซึ่ง 950 กรณีถูกต้องตามข้อเท็จจริง ให้อัตราความแม่นยำ 95% แต่อัตราข้อผิดพลาด 5% อาจยอมรับไม่ได้ในบริบททางคลินิกที่มีความเสี่ยงสูง

ความเชื่อมโยงกับวิศวกรรมซอฟต์แวร์

คล้ายกับความครอบคลุมของการทดสอบซอฟต์แวร์ แต่ลักษณะที่ไม่แน่นอนของผลลัพธ์ปัญญาประดิษฐ์ทำให้การทดสอบอย่างละเอียดถี่ถ้วนมีความซับซ้อนมากขึ้น

ข้อผิดพลาดที่พบบ่อย

• การวัดความแม่นยำโดยรวมโดยไม่พิจารณาการกระจายความรุนแรงของข้อผิดพลาด
• การประเมินตัวชี้วัดคุณภาพเฉพาะบนข้อมูลฝึกฝนเท่านั้น ไม่ใช่การใช้งานจริง

แหล่งที่มา

• Stanford HAI, AI Index Report.
• Ji Z, et al., survey of hallucination in natural language generation.