К содержанию
Quantoros

Что такое большая языковая модель и как она работает?

LLM & AIУровень: БазаArchitecture & Core Concepts

Что такое большая языковая модель и как она работает?

Подсказки
  • Уточните этап: предобучение, адаптация, генерация или оценка.
  • Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.

Ответ

LLM — нейросетевая модель, обученная на большом объёме текстовых данных. В распространённом авторегрессионном варианте текст токенизируется, токены превращаются в векторы, а трансформер строит контекстные представления и распределение следующего токена. Выбранный токен добавляется к контексту, после чего шаг повторяется. Предобучение часто дополняют обучением на инструкциях и предпочтениях. Не все LLM имеют одну архитектуру или обязательно проходят все эти этапы.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы