К содержанию
Quantoros

Что означает DAG в Airflow и почему в нём запрещены циклы?

ML System DesignУровень: БазаData pipelines and distributed processing

Что означает DAG в Airflow и почему в нём запрещены циклы?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

DAG — ориентированный ациклический граф задач и их зависимостей. Он задаёт, какие задачи должны завершиться до запуска других. Циклическая зависимость A→B→A не допускает корректного топологического порядка: каждая задача ждёт другую. Отсутствие циклов позволяет планировщику определять готовые к запуску задачи; конкретные условия запуска дополнительно задаются правилами зависимостей.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы