Что такое обратное распространение ошибки и зачем оно нужно?
Deep LearningУровень: ПрактикаOptimization in neural networks
Что такое обратное распространение ошибки и зачем оно нужно?
Подсказки
- Проследите данные и градиенты через модель, отмечая размерности.
- Разделите поведение при обучении и инференсе; найдите допущение, без которого ответ неверен.
Ответ
После прямого прохода вычисляют ошибку прогноза, затем распространяют её влияние назад по сети, чтобы получить градиенты параметров. Оптимизатор использует их для обновления весов и смещений. Цикл повторяют, отслеживая функцию потерь; таким образом сеть обучается уменьшать ошибку.
Источник и лицензия: Alexey Grigorev & contributors — Data Science Interviews · CC-BY-4.0 · перевод: Quantoros