Как выбрать между переобучением по расписанию и по сигналу мониторинга?
ML System DesignУровень: БазаML system design and MLOps
Как выбрать между переобучением по расписанию и по сигналу мониторинга?
Подсказки
- Начните с требований к качеству, нагрузке и задержке.
- Проследите путь данных до предсказания; укажите точку отказа и способ проверки решения.
Ответ
Расписание проще и предсказуемее, когда изменения постепенны и небольшое устаревание допустимо. Запуск по сигналу реагирует быстрее, но зависит от надёжности мониторинга и может зря срабатывать на шум. Часто используют плановое обучение плюс внеплановый запуск при подтверждённом ухудшении. Учитывайте стоимость вычислений, доступность свежих меток, проверку новой модели и процедуру публикации: сам факт переобучения не гарантирует улучшение.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros