К содержанию
Quantoros

Что такое партиционирование таблицы и как оно ускоряет запросы?

ML System DesignУровень: БазаData pipelines and distributed processing

Что такое партиционирование таблицы и как оно ускоряет запросы?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Таблицу разделяют на части по признаку, например дате события. Если запрос фильтрует по этому признаку, движок может не читать неподходящие части — это partition pruning. Запрос за вчера тогда сканирует только нужный период вместо всей истории. Слишком мелкие разделы увеличивают объём метаданных и накладные расходы, поэтому ключ и гранулярность выбирают под реальные запросы и размеры данных.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы