К содержанию
Quantoros

Что такое сжатие промптов и как оно работает?

ML System DesignУровень: ПрактикаCost Optimization

Что такое сжатие промптов и как оно работает?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Сжатие уменьшает вход, сохраняя информацию, нужную для задачи. Простейшие варианты — убрать повторения, выбрать релевантные фрагменты и суммировать старую историю. Специализированные методы вроде LLMLingua используют модели для отбора содержимого; разные версии не следует сводить к одному правилу удаления «удивительных» токенов. Любое сжатие может потерять числа, отрицания или ограничения, поэтому коэффициент сжатия оценивают вместе с качеством ответов.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы