Что такое Rotary Position Embedding, или RoPE?
LLM & AIУровень: ПрактикаAttention Mechanisms
Что такое Rotary Position Embedding, или RoPE?
Подсказки
- Что означает близость в выбранном представлении и метрике?
- Проверьте нормировку, точный и приближённый поиск, а также соответствие обучения поисковой задаче.
Ответ
RoPE кодирует позицию вращениями пар координат Q и K с углами, зависящими от позиции и частоты. В скалярном произведении это создаёт зависимость от относительного сдвига позиций. Отдельная добавляемая таблица позиций не нужна. Сам по себе RoPE не гарантирует надёжную работу на контексте длиннее обучающего: методы масштабирования вроде YaRN требуют настройки и оценки качества на длинных последовательностях.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros