Есть ли закон масштабирования качества по test-time compute?
LLM & AIУровень: ПрактикаTest-Time Compute Scaling
Есть ли закон масштабирования качества по test-time compute?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
В исследованиях дополнительный inference-бюджет часто повышает точность reasoning-задач, но зависимость эмпирическая и меняется с моделью, сложностью, стратегией поиска и проверяющей функцией. Универсального лог-линейного закона по числу thinking tokens нет. При фиксированном бюджете важно решить, потратить его на один длинный ответ, несколько кандидатов или внешнюю проверку. Строят собственную кривую качество–стоимость–задержка и ищут область убывающей отдачи. Наличие проверяемого результата помогает оцениванию, но не является строгим условием любой пользы; дополнительные вычисления могут и ухудшить ответ.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros