К содержанию
Quantoros

Что означает compute-optimal inference?

LLM & AIУровень: ПрактикаTest-Time Compute Scaling

Что означает compute-optimal inference?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Это выбор модели и стратегии выполнения, максимизирующий полезное качество при заданном бюджете вычислений, денег, памяти или задержки. Сравнивают, например, крупную модель с коротким ответом, меньшую с большим reasoning-бюджетом и несколько кандидатов с проверкой. Результат зависит от сложности задачи и эффективности оборудования: меньше FLOPS не всегда означает меньше задержку или стоимость. Оптимум обучения вроде Chinchilla не переносится автоматически на обслуживание. Нужен бенчмарк на целевых запросах с полным учётом скрытых токенов, проверяющих моделей, инструментов и повторов.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы