К содержанию
Quantoros

Почему компиляция backward в DDP может повлиять на перекрытие вычислений и коммуникаций?

GPU / CUDAУровень: ПродвинутыйCompilation and communication overlap

Почему компиляция backward в DDP может повлиять на перекрытие вычислений и коммуникаций?

Подсказки
  • Когда DDP узнаёт, что bucket градиентов готов?
  • Большой скомпилированный граф может изменить момент hooks.

Ответ

Этот ответ — часть менторства

К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.

Источник и лицензия: PyTorch contributors — torch.compile FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros

Похожие вопросы