К содержанию
Quantoros

Какие бенчмарки используют для reasoning-моделей?

LLM & AIУровень: ПрактикаEvaluation & Benchmarks

Какие бенчмарки используют для reasoning-моделей?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Для математики используют AIME, AMC, MATH-500 и более сложные наборы вроде FrontierMath; для программирования — HumanEval, LiveCodeBench и SWE-bench; для научных вопросов — GPQA; для абстрактных визуальных задач — ARC-AGI. Они измеряют разные способности и не являются взаимозаменяемыми. Указывают версию набора, число попыток, доступ к инструментам и вычислительный бюджет, проверяют загрязнение обучением и статистическую неопределённость. Публичный результат не переносится автоматически на продукт: нужна собственная отложенная выборка с реальными ограничениями.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы