Что такое dropout и как он помогает?
Deep LearningУровень: ПрактикаNeural networks
Что такое dropout и как он помогает?
Подсказки
- Какие активации меняются случайно во время обучения?
- Сравните обучение и инференс; как сохранить сопоставимый масштаб сигнала?
Ответ
На каждом шаге обучения активация выключается с вероятностью p. Поэтому сеть не может постоянно полагаться на один и тот же набор нейронов и вынуждена распределять представление информации. Вероятность p управляет силой этого регуляризующего эффекта.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros