Почему детектор с условными ветками может сообщать о незавершённой reduction в DDP?
Computer VisionУровень: ПродвинутыйConditional heads in distributed detection
Почему детектор с условными ветками может сообщать о незавершённой reduction в DDP?
Подсказки
- Участвуют ли все параметры в loss каждой итерации?
- Отличите условное вычисление от случайно отключённой ветки.
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: OpenMMLab — MMDetection FAQ · Apache-2.0 · ответ: редакция Quantoros · перевод: Quantoros