К содержанию
Quantoros

Что такое дрейф модели и как его обнаруживать в эксплуатации?

ML System DesignУровень: БазаML system design and MLOps

Что такое дрейф модели и как его обнаруживать в эксплуатации?

Подсказки
  • Начните с требований к качеству, нагрузке и задержке.
  • Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.

Ответ

Различайте изменение распределения входов P(X), изменение связи цели с признаками P(Y|X) и фактическое ухудшение качества. Они связаны, но не эквивалентны: сдвиг данных не обязан снижать качество. Сравнивайте распределения признаков и предсказаний с базовым периодом, контролируйте качество данных и, когда появляются истинные метки, целевые метрики модели. Статистические тесты или PSI дают сигнал для расследования, а не автоматическое доказательство необходимости переобучения.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы