Как подобрать learning rate?
Deep LearningУровень: ПрактикаOptimization in neural networks
Как подобрать learning rate?
Подсказки
- Проследите данные и градиенты через модель, отмечая размерности.
- Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.
Ответ
Универсального значения нет: его выбирают экспериментально по динамике обучения. В исходнике 0.01 предложено как возможная отправная точка. Затем шаг изменяют, чтобы избежать расходимости и чрезмерно медленной сходимости.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros