Как dropout уменьшает переобучение?
Deep LearningУровень: ПрактикаNeural networks
Как dropout уменьшает переобучение?
Подсказки
- Какие активации меняются случайно во время обучения?
- Сравните обучение и инференс; как сохранить сопоставимый масштаб сигнала?
Ответ
На обучении часть активаций случайно обнуляют, чтобы сеть меньше зависела от отдельных нейронов и их совместной настройки. Это напоминает обучение множества разделяющих веса подсетей. На инференсе используют полную сеть; масштабирование выполняют при обучении в inverted dropout либо учитывают при тестировании.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros