Какие бенчмарки используют для reasoning-моделей?
LLM & AIУровень: ПрактикаEvaluation & Benchmarks
Какие бенчмарки используют для reasoning-моделей?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Для математики используют AIME, AMC, MATH-500 и более сложные наборы вроде FrontierMath; для программирования — HumanEval, LiveCodeBench и SWE-bench; для научных вопросов — GPQA; для абстрактных визуальных задач — ARC-AGI. Они измеряют разные способности и не являются взаимозаменяемыми. Указывают версию набора, число попыток, доступ к инструментам и вычислительный бюджет, проверяют загрязнение обучением и статистическую неопределённость. Публичный результат не переносится автоматически на продукт: нужна собственная отложенная выборка с реальными ограничениями.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros