К содержанию
Quantoros

Опишите цикл авторегрессионной генерации и условия его остановки.

LLM & AIУровень: БазаTransformers & Architecture

Опишите цикл авторегрессионной генерации и условия его остановки.

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

Сначала модель обрабатывает промпт и вычисляет логиты следующего токена. Декодер превращает их в правило выбора, выбирает токен и добавляет его к последовательности. Затем получают следующий токен с учётом обновлённого контекста. При KV-кэше не нужно каждый раз заново вычислять все прежние keys и values: новые вычисления используют сохранённые состояния. Генерация заканчивается при EOS или другом заданном условии остановки, достижении лимита, отмене либо ошибке. Один проход не генерирует весь ответ одновременно.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros

Похожие вопросы