К содержанию
Quantoros

Как квантование эмбеддингов уменьшает затраты?

NLPУровень: ПрактикаProduction Engineering

Как квантование эмбеддингов уменьшает затраты?

Подсказки
  • Что означает близость в выбранном представлении и метрике?
  • Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.

Ответ

Скалярное квантование заменяет FP32 менее точными значениями, например INT8, примерно учетверяя экономию на самих координатах. Бинарное кодирование может хранить бит на координату; PQ кодирует подвекторы индексами центроидов. Это вносит ошибку расстояний, которую частично компенсирует переранжирование исходными векторами. Потери recall зависят от данных и не имеют универсального процента. Сокращение размерности Matryoshka — отдельный вид компрессии, а не квантование.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы