К содержанию
Quantoros

Что такое temperature, top-p и top-k?

LLM & AIУровень: БазаInference & Decoding

Что такое temperature, top-p и top-k?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Температура τ масштабирует логиты перед softmax: logits/τ. Низкая температура концентрирует распределение, высокая делает его более равномерным; жадный выбор обычно задаётся отдельно как режим. Top-k оставляет k самых вероятных токенов. Top-p оставляет минимальный набор, набирающий заданную суммарную вероятность p. После отсечения распределение нормируют и выбирают токен. Универсальных лучших значений нет: параметры подбирают под задачу и проверяют качество.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы