К содержанию
Quantoros

Что решает стратегия декодирования после получения логитов?

LLM & AIУровень: БазаTransformers & Architecture

Что решает стратегия декодирования после получения логитов?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Она задаёт, как из оценок возможных продолжений выбрать токен или кандидатов последовательности. Greedy выбирает максимальную оценку на каждом шаге; sampling выбирает по распределению, часто после temperature, top-k или top-p; beam search сохраняет несколько перспективных продолжений. Также задаются ограничения и условия остановки. Одинаковые веса модели с разным декодированием дают разные результаты. Greedy не гарантирует глобально наиболее вероятной последовательности, а наиболее вероятный текст не обязательно самый правильный или полезный.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros

Похожие вопросы