К содержанию
Quantoros

В чём основная идея dropout?

Deep LearningУровень: БазаML concepts — Sebastian Raschka FAQ

В чём основная идея dropout?

Подсказки
  • Какие активации меняются случайно во время обучения?
  • Сравните обучение и инференс; как сохранить сопоставимый масштаб сигнала?

Ответ

Во время обучения случайно обнуляют активации с вероятностью p, чтобы сеть не полагалась на постоянное присутствие конкретных признаков. В inverted dropout оставшиеся значения делят на 1−p; при обычном инференсе dropout отключён и используется вся сеть. Это способ регуляризации, а не гарантированное уменьшение вычислений: плотные операции и маскирование обычно не ускоряют обучение автоматически. Вероятность p подбирают по валидации.

Источник и лицензия: Sebastian Raschka — Python Machine Learning FAQ · MIT · перевод: Quantoros

Похожие вопросы