Каковы компромиссы между построчным и поколоночным хранением?
ML System DesignУровень: БазаData pipelines and distributed processing
Каковы компромиссы между построчным и поколоночным хранением?
Подсказки
- Какая часть записи нужна типичному запросу: вся строка или несколько столбцов?
- Сравните объём чтения, сжатие, аналитические агрегации и стоимость изменения отдельных записей.
Ответ
Построчный формат держит поля записи рядом и удобен для чтения целых записей. Поколоночный объединяет значения столбца, что эффективно для аналитики по нескольким колонкам большого числа строк и хорошо сжимается. Parquet — поколоночный формат, Avro сериализует записи по схеме. Не путайте формат файла с СУБД: CSV или Avro сами по себе не дают индексов, блокировок, транзакционной изоляции и эффективного обновления произвольной строки. Это свойства движка или табличного слоя.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · ответ: редакция Quantoros · перевод: Quantoros