Что нужно мониторить в LLM-приложении?
ML System DesignУровень: ПрактикаObservability & Monitoring
Что нужно мониторить в LLM-приложении?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Измеряйте TTFT, полное время ответа и хвостовые задержки, ошибки, токены, стоимость и попадания в кеш. Для качества — успешность задачи, фактическую правильность, обоснованность источниками, передачи человеку и обратную связь. Для RAG добавьте качество поиска и свежесть индекса; для агентов — правильность действий. Тревоги должны учитывать сегменты и реальный ущерб: рост длины сессии может означать как интерес, так и неспособность решить вопрос.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros