Опишите цикл авторегрессионной генерации и условия его остановки.
LLM & AIУровень: БазаTransformers & Architecture
Опишите цикл авторегрессионной генерации и условия его остановки.
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
Сначала модель обрабатывает промпт и вычисляет логиты следующего токена. Декодер превращает их в правило выбора, выбирает токен и добавляет его к последовательности. Затем получают следующий токен с учётом обновлённого контекста. При KV-кэше не нужно каждый раз заново вычислять все прежние keys и values: новые вычисления используют сохранённые состояния. Генерация заканчивается при EOS или другом заданном условии остановки, достижении лимита, отмене либо ошибке. Один проход не генерирует весь ответ одновременно.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros