К содержанию
Quantoros

Как dropout уменьшает переобучение?

Deep LearningУровень: ПрактикаNeural networks

Как dropout уменьшает переобучение?

Подсказки
  • Какие активации меняются случайно во время обучения?
  • Сравните обучение и инференс; как сохранить сопоставимый масштаб сигнала?

Ответ

На обучении часть активаций случайно обнуляют, чтобы сеть меньше зависела от отдельных нейронов и их совместной настройки. Это напоминает обучение множества разделяющих веса подсетей. На инференсе используют полную сеть; масштабирование выполняют при обучении в inverted dropout либо учитывают при тестировании.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы