Чем отличаются полный, стохастический и мини-батчевый градиентный спуск?
Deep LearningУровень: БазаNeural networks
Чем отличаются полный, стохастический и мини-батчевый градиентный спуск?
Подсказки
- Какие величины обновляются на одном шаге и по какой информации?
- Проверьте знак, масштаб шага и поведение на плохо обусловленной поверхности.
Ответ
Полный GD использует всю выборку для одного обновления. SGD в узком смысле использует один пример и даёт шумные частые обновления. Mini-batch GD обрабатывает небольшую группу, сочетая приближённый градиент с эффективной векторизацией на GPU. Размер партии влияет на стоимость, шум и сходимость.
Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros