Одинична економіка інференсу

Одинична економіка інференсу вимірює вартість окремого прогнозу чи генерації моделі ШІ.

Чому це важливо

Витрати на навчання є одноразовими, але витрати на інференс повторюються нескінченно, пропорційно до використання.

Математика

Вартість за інференс = (вартість за годину GPU × час обробки) / кількість запитів

Розібраний приклад

Модель підтримки інтерпретації зображень: GPU £2/годину, 1000 обробок/годину = £0,002 за інтерпретацію.

Зв'язок з інженерією програмного забезпечення

Специфічний для ШІ випадок одиничної економіки хмари та ключовий вхідний параметр для рентабельності інвестицій у ШІ.

Підводні камені

• Ігнорування знижок за пакетну обробку та розрахунок за вартістю окремого запиту.

Джерела

• a16z, cost of inference analyses.
• Hugging Face, inference optimization guides.