Что означает DAG в Airflow и почему в нём запрещены циклы?
ML System DesignУровень: БазаData pipelines and distributed processing
Что означает DAG в Airflow и почему в нём запрещены циклы?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
DAG — ориентированный ациклический граф задач и их зависимостей. Он задаёт, какие задачи должны завершиться до запуска других. Циклическая зависимость A→B→A не допускает корректного топологического порядка: каждая задача ждёт другую. Отсутствие циклов позволяет планировщику определять готовые к запуску задачи; конкретные условия запуска дополнительно задаются правилами зависимостей.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros