Что такое сжатие промптов и как оно работает?
ML System DesignУровень: ПрактикаCost Optimization
Что такое сжатие промптов и как оно работает?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Сжатие уменьшает вход, сохраняя информацию, нужную для задачи. Простейшие варианты — убрать повторения, выбрать релевантные фрагменты и суммировать старую историю. Специализированные методы вроде LLMLingua используют модели для отбора содержимого; разные версии не следует сводить к одному правилу удаления «удивительных» токенов. Любое сжатие может потерять числа, отрицания или ограничения, поэтому коэффициент сжатия оценивают вместе с качеством ответов.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros