К содержанию
Quantoros

Каковы компромиссы между построчным и поколоночным хранением?

ML System DesignУровень: БазаData pipelines and distributed processing

Каковы компромиссы между построчным и поколоночным хранением?

Подсказки
  • Какая часть записи нужна типичному запросу: вся строка или несколько столбцов?
  • Сравните объём чтения, сжатие, аналитические агрегации и стоимость изменения отдельных записей.

Ответ

Построчный формат держит поля записи рядом и удобен для чтения целых записей. Поколоночный объединяет значения столбца, что эффективно для аналитики по нескольким колонкам большого числа строк и хорошо сжимается. Parquet — поколоночный формат, Avro сериализует записи по схеме. Не путайте формат файла с СУБД: CSV или Avro сами по себе не дают индексов, блокировок, транзакционной изоляции и эффективного обновления произвольной строки. Это свойства движка или табличного слоя.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы