Что решает стратегия декодирования после получения логитов?
LLM & AIУровень: БазаTransformers & Architecture
Что решает стратегия декодирования после получения логитов?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Она задаёт, как из оценок возможных продолжений выбрать токен или кандидатов последовательности. Greedy выбирает максимальную оценку на каждом шаге; sampling выбирает по распределению, часто после temperature, top-k или top-p; beam search сохраняет несколько перспективных продолжений. Также задаются ограничения и условия остановки. Одинаковые веса модели с разным декодированием дают разные результаты. Greedy не гарантирует глобально наиболее вероятной последовательности, а наиболее вероятный текст не обязательно самый правильный или полезный.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros