К содержанию
Quantoros

Как оптимизировать промпты по стоимости и задержке?

LLM & AIУровень: ПрактикаAdvanced Prompting

Как оптимизировать промпты по стоимости и задержке?

Подсказки
  • Разделите подготовку входа, вычисление предсказания, очередь и передачу данных.
  • Как изменятся задержка одного запроса, пропускная способность и память при увеличении батча?

Ответ

Уберите повторяющиеся инструкции, лишние примеры и нерелевантный контекст, сохранив качество на проверочном наборе. Для машинной обработки задавайте компактную схему без вступлений, ограничивайте длину ответа. Повторяемые префиксы можно кешировать там, где это поддерживается. Простые запросы направляйте более дешёвой модели, сложные — более сильной. Измеряйте качество, стоимость и хвостовые задержки вместе, а не сокращайте токены вслепую.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы