К содержанию
Quantoros

Как reasoning-модели используют thinking tokens?

LLM & AIУровень: БазаWhat Are Reasoning Models

Как reasoning-модели используют thinking tokens?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Thinking tokens — обозначение промежуточных токенов, которые некоторые модели используют до или во время формирования итогового ответа. Они могут поддерживать разбиение задачи, проверку гипотез и исправление ошибок, но конкретная реализация зависит от модели. Универсального протокола с тегами и нет; внутренние токены могут быть скрыты, а пользователю доступно лишь краткое объяснение. Стоимость, лимит контекста и учёт таких токенов определяются API. Для проверки решения нужны наблюдаемые выводы, тесты и доказательства, а не предположение, что длинная внутренняя трасса обязательно верна.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы