Как проектировать LLM-приложение с учётом сбоев API?
ML System DesignУровень: ПрактикаScalability & Tradeoffs
Как проектировать LLM-приложение с учётом сбоев API?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Используйте таймауты, ограниченные повторы с exponential backoff и jitter, circuit breaker и контролируемый режим деградации. Нереалтаймовые задачи можно сохранять в очереди. Альтернативный провайдер допустим только при совместимых требованиях качества, приватности и согласованной маршрутизации данных. Перед повтором действия с последствиями проверяйте, не было ли оно выполнено. Не выдавайте старый кешированный ответ за свежий без соответствующей проверки.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros