Почему компиляция backward в DDP может повлиять на перекрытие вычислений и коммуникаций?
GPU / CUDAУровень: ПродвинутыйCompilation and communication overlap
Почему компиляция backward в DDP может повлиять на перекрытие вычислений и коммуникаций?
Подсказки
- Когда DDP узнаёт, что bucket градиентов готов?
- Большой скомпилированный граф может изменить момент hooks.
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: PyTorch contributors — torch.compile FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros