Что происходит при слишком большой или слишком маленькой скорости обучения?
Deep LearningУровень: БазаOptimization in neural networks
Что происходит при слишком большой или слишком маленькой скорости обучения?
Подсказки
- Проследите данные и градиенты через модель, отмечая размерности.
- Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.
Ответ
Слишком большой шаг может перескакивать через удачную область и мешать сходимости. Слишком маленький делает обучение медленным и затрудняет продвижение из неудачных областей. Нужен баланс скорости и устойчивости обновлений.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros