К содержанию
Quantoros

Какую основную задачу выполняет авторегрессионная LLM?

LLM & AIУровень: БазаLLM Foundations

Какую основную задачу выполняет авторегрессионная LLM?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

На каждом шаге она оценивает распределение следующего токена по предыдущему контексту. Декодирующая стратегия выбирает токен — например, максимальный по вероятности или случайный с весами — и процесс повторяется. Токен может быть частью слова, знаком или специальным элементом, а не целым словом. Предсказание следующего токена — вычислительная форма генерации, но не утверждение, что модель всегда выбирает самый вероятный токен или что вся система ограничена этим действием: вокруг неё могут работать инструменты и проверки.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros

Похожие вопросы