Что означает compute-optimal inference?
LLM & AIУровень: ПрактикаTest-Time Compute Scaling
Что означает compute-optimal inference?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Это выбор модели и стратегии выполнения, максимизирующий полезное качество при заданном бюджете вычислений, денег, памяти или задержки. Сравнивают, например, крупную модель с коротким ответом, меньшую с большим reasoning-бюджетом и несколько кандидатов с проверкой. Результат зависит от сложности задачи и эффективности оборудования: меньше FLOPS не всегда означает меньше задержку или стоимость. Оптимум обучения вроде Chinchilla не переносится автоматически на обслуживание. Нужен бенчмарк на целевых запросах с полным учётом скрытых токенов, проверяющих моделей, инструментов и повторов.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros