К содержанию
Quantoros

Что происходит при слишком большой или слишком маленькой скорости обучения?

Deep LearningУровень: БазаOptimization in neural networks

Что происходит при слишком большой или слишком маленькой скорости обучения?

Подсказки
  • Проследите данные и градиенты через модель, отмечая размерности.
  • Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.

Ответ

Слишком большой шаг может перескакивать через удачную область и мешать сходимости. Слишком маленький делает обучение медленным и затрудняет продвижение из неудачных областей. Нужен баланс скорости и устойчивости обновлений.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы