Что такое эмбеддинги и какую информацию они отражают?
LLM & AIУровень: БазаTokenization & Embeddings
Что такое эмбеддинги и какую информацию они отражают?
Подсказки
- Что означает близость в выбранном представлении и метрике?
- Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.
Ответ
Эмбеддинг — плотный вектор дискретного объекта. Таблица токенов имеет размер |V|×d и выбирает строку по идентификатору. Обучение может расположить слова со сходными контекстами рядом и отразить синтаксические или семантические отношения, но это не строгая гарантия. Начальный вектор токена одинаков вне контекста, а выход трансформерных слоёв уже зависит от окружающей последовательности и является контекстным представлением.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros