К содержанию
Quantoros

Почему при дообучении pretrained-детектора с маленьким батчем часто используют normeval?

Computer VisionУровень: ПрактикаFrozen BatchNorm statistics in detection

Почему при дообучении pretrained-детектора с маленьким батчем часто используют norm_eval?

Подсказки
  • Различите running statistics и обучаемые affine-параметры.
  • Насколько маленький батч представляет целевое распределение?

Ответ

Маленькие батчи детекции дают шумные оценки BatchNorm. Сохранение pretrained running statistics может быть стабильнее, но требует проверки при domain shift. Режим статистик отличается от заморозки affine-параметров и всего backbone. При достаточном распределённом батче можно рассмотреть SyncBatchNorm; выбор проверяют на validation, не копируют вслепую.

Источник и лицензия: OpenMMLab — MMDetection FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы