К содержанию
Quantoros

Что такое скорость обучения (learning rate)?

Deep LearningУровень: БазаOptimization in neural networks

Что такое скорость обучения (learning rate)?

Подсказки
  • Проследите данные и градиенты через модель, отмечая размерности.
  • Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.

Ответ

Это гиперпараметр, задающий размер шага при обновлении весов. Он определяет, насколько далеко параметры перемещаются в выбранном направлении уменьшения функции потерь.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы