Что такое градиентный спуск и как он работает?
Classic MLУровень: ПрактикаLinear regression
Что такое градиентный спуск и как он работает?
Подсказки
- Какие величины обновляются на одном шаге и по какой информации?
- Проверьте знак, масштаб шага и поведение на плохо обусловленной поверхности.
Ответ
Это итеративная минимизация функции: параметры изменяют в направлении, противоположном её градиенту. На каждом шаге вычисляют градиент и делают шаг выбранной длины. Процесс продолжают до критерия остановки — например, когда изменения параметров или функции становятся малы. В зависимости от задачи результат может быть локальным или глобальным минимумом.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros