К содержанию
Quantoros

Как отладить рост P95 задержки с 2 до 15 секунд?

ML System DesignУровень: ПрактикаTroubleshooting Scenarios

Как отладить рост P95 задержки с 2 до 15 секунд?

Подсказки
  • Разделите подготовку входа, вычисление предсказания, очередь и передачу данных.
  • Как изменятся задержка одного запроса, пропускная способность и память при увеличении батча?

Ответ

По трассам разделите время ожидания, retrieval, подготовку, TTFT и генерацию. Проверьте состояние провайдера, лимиты и ретраи, изменение модели или маршрутизации, длину запросов и ответов, hit rate кешей. Для собственного сервиса посмотрите загрузку устройств, очередь batching и пулы соединений. Сравнивайте одинаковые категории запросов: общий P95 может измениться из-за состава трафика, а не из-за замедления одного компонента.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы