Что такое партиционирование таблицы и как оно ускоряет запросы?
ML System DesignУровень: БазаData pipelines and distributed processing
Что такое партиционирование таблицы и как оно ускоряет запросы?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Таблицу разделяют на части по признаку, например дате события. Если запрос фильтрует по этому признаку, движок может не читать неподходящие части — это partition pruning. Запрос за вчера тогда сканирует только нужный период вместо всей истории. Слишком мелкие разделы увеличивают объём метаданных и накладные расходы, поэтому ключ и гранулярность выбирают под реальные запросы и размеры данных.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros