К содержанию
Quantoros

Как проектировать LLM-приложение с учётом сбоев API?

ML System DesignУровень: ПрактикаScalability & Tradeoffs

Как проектировать LLM-приложение с учётом сбоев API?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Используйте таймауты, ограниченные повторы с exponential backoff и jitter, circuit breaker и контролируемый режим деградации. Нереалтаймовые задачи можно сохранять в очереди. Альтернативный провайдер допустим только при совместимых требованиях качества, приватности и согласованной маршрутизации данных. Перед повтором действия с последствиями проверяйте, не было ли оно выполнено. Не выдавайте старый кешированный ответ за свежий без соответствующей проверки.

Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros

Похожие вопросы