Как обрабатывать изменение схемы данных, например добавление столбца?
ML System DesignУровень: ПрактикаData pipelines and distributed processing
Как обрабатывать изменение схемы данных, например добавление столбца?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Рассматривайте изменение как вопрос совместимости производителей, сохранённых данных и читателей. Для нового необязательного поля задайте тип, null или значение по умолчанию и проверьте старые читатели на новых записях, а новые — на старых. Версионируйте контракт. В Iceberg стабильные идентификаторы полей позволяют отличать переименование от добавления; обычные Parquet-файлы с реестром сами по себе такой гарантии не дают. Для изменения смысла или несовместимого типа нужна явная миграция, иногда с параллельными старыми и новыми полями.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · ответ: редакция Quantoros · перевод: Quantoros