Показники якості ШІ

Показники якості ШІ вимірюють точність, надійність та безпеку виходу моделі: точність, повнота, рівень галюцинацій.

Чому це важливо

Навіть системи ШІ з високою пропускною здатністю можуть мати витрати на подальше виправлення, що перевищують економію, якщо якість низька.

Математика

Показник F1 = 2 × (точність × повнота) / (точність + повнота)

Розібраний приклад

Інструмент ШІ для клінічного кодування: точність 0,85, повнота 0,78 = F1 0,81.

Зв'язок з інженерією програмного забезпечення

Загальні показники якості програмного забезпечення, що є основою для клінічної оцінки ШІ.

Підводні камені

• Погляд лише на точність, ігноруючи дисбаланс класів.

Джерела

• Google, ML evaluation best practices.
• Ji Z, et al., Survey of Hallucination in Natural Language Generation.