Как контролировать надёжность производственного конвейера данных и соблюдение SLA?
ML System DesignУровень: ПрактикаData pipelines and distributed processing
Как контролировать надёжность производственного конвейера данных и соблюдение SLA?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Следите за свежестью результата, длительностью этапов, объёмом строк, схемой, пропусками, дубликатами и допустимыми диапазонами значений. Настройте уведомления о сбоях и просрочке, ограниченные повторные попытки и понятные условия восстановления. Храните происхождение данных, чтобы находить источник ошибки, и инструкции действий для типовых инцидентов. Проверять нужно не только успешный статус задачи, но и пригодность её результата.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros