К содержанию
Quantoros

Какие методы регуляризации применяют в нейросетях?

Deep LearningУровень: ПрактикаNeural networks

Какие методы регуляризации применяют в нейросетях?

Подсказки
  • Начните с функции потерь: что меняется при добавлении штрафа на параметры?
  • Сравните геометрию ограничений и поведение коэффициента около нуля. Отдельно проверьте роль масштаба признаков.

Ответ

L1 штрафует абсолютные значения весов и способствует разреженности; L2 — их квадраты. Аугментация расширяет обучающие данные допустимыми преобразованиями. Dropout случайно выключает часть активаций на обучении, уменьшая зависимость сети от конкретных сочетаний нейронов.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы