К содержанию
Quantoros

Что такое обратное распространение ошибки и зачем оно нужно?

Deep LearningУровень: ПрактикаOptimization in neural networks

Что такое обратное распространение ошибки и зачем оно нужно?

Подсказки
  • Проследите данные и градиенты через модель, отмечая размерности.
  • Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.

Ответ

После прямого прохода вычисляют ошибку прогноза, затем распространяют её влияние назад по сети, чтобы получить градиенты параметров. Оптимизатор использует их для обновления весов и смещений. Цикл повторяют, отслеживая функцию потерь; таким образом сеть обучается уменьшать ошибку.

Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros

Похожие вопросы