К содержанию
Quantoros

Что такое Rotary Position Embedding, или RoPE?

LLM & AIУровень: ПрактикаAttention Mechanisms

Что такое Rotary Position Embedding, или RoPE?

Подсказки
  • Что означает близость в выбранном представлении и метрике?
  • Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.

Ответ

RoPE кодирует позицию вращениями пар координат Q и K с углами, зависящими от позиции и частоты. В скалярном произведении это создаёт зависимость от относительного сдвига позиций. Отдельная добавляемая таблица позиций не нужна. Сам по себе RoPE не гарантирует надёжную работу на контексте длиннее обучающего: методы масштабирования вроде YaRN требуют настройки и оценки качества на длинных последовательностях.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы