Почему при дообучении pretrained-детектора с маленьким батчем часто используют normeval?
Computer VisionУровень: ПрактикаFrozen BatchNorm statistics in detection
Почему при дообучении pretrained-детектора с маленьким батчем часто используют norm_eval?
Подсказки
- Различите running statistics и обучаемые affine-параметры.
- Насколько маленький батч представляет целевое распределение?
Ответ
Маленькие батчи детекции дают шумные оценки BatchNorm. Сохранение pretrained running statistics может быть стабильнее, но требует проверки при domain shift. Режим статистик отличается от заморозки affine-параметров и всего backbone. При достаточном распределённом батче можно рассмотреть SyncBatchNorm; выбор проверяют на validation, не копируют вслепую.
Источник и лицензия: OpenMMLab — MMDetection FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros