Что такое большая языковая модель и как она работает?
LLM & AIУровень: БазаArchitecture & Core Concepts
Что такое большая языковая модель и как она работает?
Подсказки
- Уточните этап: предобучение, адаптация, генерация или оценка.
- Назовите входы, ограничения и один случай, в котором предложенный подход не сработает.
Ответ
LLM — нейросетевая модель, обученная на большом объёме текстовых данных. В распространённом авторегрессионном варианте текст токенизируется, токены превращаются в векторы, а трансформер строит контекстные представления и распределение следующего токена. Выбранный токен добавляется к контексту, после чего шаг повторяется. Предобучение часто дополняют обучением на инструкциях и предпочтениях. Не все LLM имеют одну архитектуру или обязательно проходят все эти этапы.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros