К содержанию
Quantoros

Как подобрать learning rate?

Deep LearningУровень: ПрактикаOptimization in neural networks

Как подобрать learning rate?

Подсказки
  • Проследите данные и градиенты через модель, отмечая размерности.
  • Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.

Ответ

Универсального значения нет: его выбирают экспериментально по динамике обучения. В исходнике 0.01 предложено как возможная отправная точка. Затем шаг изменяют, чтобы избежать расходимости и чрезмерно медленной сходимости.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы