Что такое скорость обучения (learning rate)?
Deep LearningУровень: БазаOptimization in neural networks
Что такое скорость обучения (learning rate)?
Подсказки
- Проследите данные и градиенты через модель, отмечая размерности.
- Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.
Ответ
Это гиперпараметр, задающий размер шага при обновлении весов. Он определяет, насколько далеко параметры перемещаются в выбранном направлении уменьшения функции потерь.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros