Как отладить рост P95 задержки с 2 до 15 секунд?
ML System DesignУровень: ПрактикаTroubleshooting Scenarios
Как отладить рост P95 задержки с 2 до 15 секунд?
Подсказки
- Разделите подготовку входа, вычисление предсказания, очередь и передачу данных.
- Как изменятся задержка одного запроса, пропускная способность и память при увеличении батча?
Ответ
По трассам разделите время ожидания, retrieval, подготовку, TTFT и генерацию. Проверьте состояние провайдера, лимиты и ретраи, изменение модели или маршрутизации, длину запросов и ответов, hit rate кешей. Для собственного сервиса посмотрите загрузку устройств, очередь batching и пулы соединений. Сравнивайте одинаковые категории запросов: общий P95 может измениться из-за состава трафика, а не из-за замедления одного компонента.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros