К содержанию
Quantoros

Чем отличаются полный, стохастический и мини-батчевый градиентный спуск?

Deep LearningУровень: БазаNeural networks

Чем отличаются полный, стохастический и мини-батчевый градиентный спуск?

Подсказки
  • Какие величины обновляются на одном шаге и по какой информации?
  • Проверьте знак, масштаб шага и поведение на плохо обусловленной поверхности.

Ответ

Полный GD использует всю выборку для одного обновления. SGD в узком смысле использует один пример и даёт шумные частые обновления. Mini-batch GD обрабатывает небольшую группу, сочетая приближённый градиент с эффективной векторизацией на GPU. Размер партии влияет на стоимость, шум и сходимость.

Источник и лицензия: Ishan Dutta — Awesome Data Science Interview Q&A · MIT · перевод: Quantoros

Похожие вопросы