В чём основная идея dropout?
Deep LearningУровень: БазаML concepts — Sebastian Raschka FAQ
В чём основная идея dropout?
Подсказки
- Какие активации меняются случайно во время обучения?
- Сравните обучение и инференс; как сохранить сопоставимый масштаб сигнала?
Ответ
Во время обучения случайно обнуляют активации с вероятностью p, чтобы сеть не полагалась на постоянное присутствие конкретных признаков. В inverted dropout оставшиеся значения делят на 1−p; при обычном инференсе dropout отключён и используется вся сеть. Это способ регуляризации, а не гарантированное уменьшение вычислений: плотные операции и маскирование обычно не ускоряют обучение автоматически. Вероятность p подбирают по валидации.
Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros