Почему выходы RNN с packed sequences могут не собираться через DataParallel?
GPU / CUDAУровень: ПродвинутыйGathering variable-length sequences
Почему выходы RNN с packed sequences могут не собираться через DataParallel?
Подсказки
- Каждая реплика видит длины только собственного подбатча.
- Какая общая форма выхода нужна операции gather?
Ответ
Этот ответ — часть менторства
К продвинутым вопросам есть полный разбор и тренировочное собеседование с практикующим квант-ресерчером. Первый созвон бесплатный.
Источник и лицензия: PyTorch contributors — FAQ · BSD-3-Clause · ответ: редакция Quantoros · перевод: Quantoros