Что такое дрейф модели и как его обнаруживать в эксплуатации?
ML System DesignУровень: БазаML system design and MLOps
Что такое дрейф модели и как его обнаруживать в эксплуатации?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Различайте изменение распределения входов P(X), изменение связи цели с признаками P(Y|X) и фактическое ухудшение качества. Они связаны, но не эквивалентны: сдвиг данных не обязан снижать качество. Сравнивайте распределения признаков и предсказаний с базовым периодом, контролируйте качество данных и, когда появляются истинные метки, целевые метрики модели. Статистические тесты или PSI дают сигнал для расследования, а не автоматическое доказательство необходимости переобучения.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros