К содержанию
Quantoros

Что такое эмбеддинги и какую информацию они отражают?

LLM & AIУровень: БазаTokenization & Embeddings

Что такое эмбеддинги и какую информацию они отражают?

Подсказки
  • Что означает близость в выбранном представлении и метрике?
  • Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.

Ответ

Эмбеддинг — плотный вектор дискретного объекта. Таблица токенов имеет размер |V|×d и выбирает строку по идентификатору. Обучение может расположить слова со сходными контекстами рядом и отразить синтаксические или семантические отношения, но это не строгая гарантия. Начальный вектор токена одинаков вне контекста, а выход трансформерных слоёв уже зависит от окружающей последовательности и является контекстным представлением.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы