К содержанию
Quantoros

Что такое переобучение и как его уменьшить?

Classic MLУровень: ПрактикаClassical machine learning

Что такое переобучение и как его уменьшить?

Подсказки
  • Сравните ошибки на обучающей и независимой выборках.
  • Представьте, что повторяете обучение на другой выборке. Что меняется в предсказаниях и почему?

Ответ

Модель запоминает шум и частные особенности train, поэтому хорошо работает на обучении, но хуже на новых объектах. Возможные меры: больше данных, L1/L2 или dropout, корректная валидация и ранняя остановка, снижение сложности, бэггинг и аугментации. Улучшение нужно подтверждать на независимых данных.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы