Аналитический градиент расходится с конечными разностями. Что проверить до обвинения оптимизатора?
МатематикаУровень: ПрактикаMultivariate optimizer reasoning
Аналитический градиент расходится с конечными разностями. Что проверить до обвинения оптимизатора?
Подсказки
- Оба метода должны дифференцировать одну цель.
- Меняйте размер шага.
Ответ
Проверьте знак, форму, порядок параметров, нормировку цели и детерминированность. Затем меняйте шаг разностей, отделяя ошибку формулы от численного шума.
Источник и лицензия: SciPy — scalar and multivariate minimization · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros