Как спроектировать чат поддержки интернет-магазина на 100 тысяч запросов в день?
ML System DesignУровень: ПрактикаDesign Customer Support Chatbot
Как спроектировать чат поддержки интернет-магазина на 100 тысяч запросов в день?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Уточните пиковую нагрузку, языки, задержку и правила передачи оператору. Авторизованный API обслуживает статус заказа, RAG — актуальные правила и товары, а LLM формирует ответ по минимально необходимым данным. Изолируйте пользовательские сессии и права на заказы, ограничьте инструменты, исключите ненужные персональные данные из логов. Используйте очереди, лимиты, кеширование и отказоустойчивость. Оценивайте решение задач, корректность, жалобы, передачу человеку и хвостовые задержки; самооценка уверенности не заменяет проверку.
Источник и лицензия: JustInCache & contributors — Awesome AI Interviews · Apache-2.0 · перевод: Quantoros