К содержанию
Quantoros

Что делает токенизация и зачем она нужна?

LLM & AIУровень: БазаTransformers & Architecture

Что делает токенизация и зачем она нужна?

Подсказки
  • Где проходит граница между текстом, идентификатором токена и вектором?
  • Рассмотрите неизвестные строки, длину контекста и влияние словаря на разные языки.

Ответ

Токенизатор преобразует текст в последовательность дискретных элементов и их целочисленных идентификаторов из словаря. Элементами могут быть части слов, байты, знаки или специальные токены. Затем модель получает соответствующие векторы из embedding-таблицы, а не работает с текстом как с произвольной строкой. Разбиение зависит от токенизатора: одинаковый текст занимает разное число токенов у разных моделей. Это влияет на стоимость, контекстный лимит и обработку языков; токенизация сама по себе не является пониманием смысла.

Источник и лицензия: Skillumen — Awesome AI Engineer Interview Questions · CC0-1.0 · перевод: Quantoros

Похожие вопросы