К содержанию
Quantoros

Что такое dropout и как он помогает?

Deep LearningУровень: ПрактикаNeural networks

Что такое dropout и как он помогает?

Подсказки
  • Какие активации меняются случайно во время обучения?
  • Сравните обучение и инференс; как сохранить сопоставимый масштаб сигнала?

Ответ

На каждом шаге обучения активация выключается с вероятностью p. Поэтому сеть не может постоянно полагаться на один и тот же набор нейронов и вынуждена распределять представление информации. Вероятность p управляет силой этого регуляризующего эффекта.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы