К содержанию
Quantoros

Как контролировать надёжность производственного конвейера данных и соблюдение SLA?

ML System DesignУровень: ПрактикаData pipelines and distributed processing

Как контролировать надёжность производственного конвейера данных и соблюдение SLA?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Следите за свежестью результата, длительностью этапов, объёмом строк, схемой, пропусками, дубликатами и допустимыми диапазонами значений. Настройте уведомления о сбоях и просрочке, ограниченные повторные попытки и понятные условия восстановления. Храните происхождение данных, чтобы находить источник ошибки, и инструкции действий для типовых инцидентов. Проверять нужно не только успешный статус задачи, но и пригодность её результата.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы