Какую основную задачу выполняет авторегрессионная LLM?
LLM & AIУровень: БазаLLM Foundations
Какую основную задачу выполняет авторегрессионная LLM?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
На каждом шаге она оценивает распределение следующего токена по предыдущему контексту. Декодирующая стратегия выбирает токен — например, максимальный по вероятности или случайный с весами — и процесс повторяется. Токен может быть частью слова, знаком или специальным элементом, а не целым словом. Предсказание следующего токена — вычислительная форма генерации, но не утверждение, что модель всегда выбирает самый вероятный токен или что вся система ограничена этим действием: вокруг неё могут работать инструменты и проверки.
Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros