К содержанию
Quantoros

Что нужно мониторить в LLM-приложении?

ML System DesignУровень: ПрактикаObservability & Monitoring

Что нужно мониторить в LLM-приложении?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Измеряйте TTFT, полное время ответа и хвостовые задержки, ошибки, токены, стоимость и попадания в кеш. Для качества — успешность задачи, фактическую правильность, обоснованность источниками, передачи человеку и обратную связь. Для RAG добавьте качество поиска и свежесть индекса; для агентов — правильность действий. Тревоги должны учитывать сегменты и реальный ущерб: рост длины сессии может означать как интерес, так и неспособность решить вопрос.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы